一種基于大數(shù)據(jù)集的分布式執(zhí)行框架
基本信息
| 申請?zhí)?/td> | CN202011347821.4 | 申請日 | - |
| 公開（公告）號 | CN112579100A | 公開（公告）日 | 2021-03-30 |
| 申請公布號 | CN112579100A | 申請公布日 | 2021-03-30 |
| 分類號 | G06F8/60(2018.01)I;G06F8/61(2018.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 王小林;張晨輝 | 申請（專利權(quán)）人 | 陜西天行健車聯(lián)網(wǎng)信息技術(shù)有限公司 |
| 代理機構(gòu) | 西安佳士成專利代理事務(wù)所合伙企業(yè)（普通合伙） | 代理人 | 李丹 |
| 地址 | 710200陜西省西安市未央?yún)^(qū)明光路凱瑞E座801室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明屬于車聯(lián)網(wǎng)技術(shù)領(lǐng)域，涉及一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，采用分布式并行執(zhí)行，包括以下步驟：步驟一、執(zhí)行啟動腳本將jar包分發(fā)到集群各個節(jié)點對應(yīng)目錄；步驟二、NodeManger負(fù)責(zé)維護各個集群節(jié)點Node的通訊響應(yīng)，分發(fā)的任務(wù)具體交給各自的Node處理；步驟三、Node節(jié)點負(fù)責(zé)維護各自TaskManager，一個節(jié)點可以處理多個并行任務(wù)；步驟四、Task任務(wù)最終交由WorkerManager處理，一個Node節(jié)點下WorkerManager維護一個線程池；步驟五、Woker拿到Task任務(wù)信息后啟動TaskActuator執(zhí)行用戶自定義代碼塊，將結(jié)果數(shù)據(jù)集發(fā)送到hdfs，并將執(zhí)行狀態(tài)回寫到數(shù)據(jù)庫；本發(fā)明解決了日益增長的車聯(lián)網(wǎng)數(shù)據(jù)量與主流技術(shù)框架及內(nèi)部業(yè)務(wù)結(jié)合處理能力不足之間的矛盾。?? |
