一種基于大數(shù)據(jù)架構(gòu)的車聯(lián)網(wǎng)數(shù)據(jù)分析平臺

基本信息

申請?zhí)?/td> CN202110146529.4 申請日 -
公開（公告）號 CN112507003A 公開（公告）日 2021-03-16
申請公布號 CN112507003A 申請公布日 2021-03-16
分類號 G06F16/2458(2019.01)I;G06F16/215(2019.01)I;G06F16/182(2019.01)I;G06F16/248(2019.01)I;G06F16/2455(2019.01)I;G06F9/54(2006.01)I;G06F16/2457(2019.01)I 分類 計算；推算；計數(shù);
發(fā)明人 王欣然;孫杰;沈祥紅 申請（專利權(quán)）人 江蘇海平面數(shù)據(jù)科技有限公司
代理機構(gòu) 南京品智知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 奚曉寧;張明昌
地址 210019江蘇省南京市建鄴區(qū)云龍山路80號
法律狀態(tài) -

摘要

摘要 本發(fā)明是一種基于大數(shù)據(jù)架構(gòu)的車聯(lián)網(wǎng)數(shù)據(jù)分析平臺，包括數(shù)據(jù)接收模塊、數(shù)據(jù)分析任務(wù)管理模塊和數(shù)據(jù)推送模塊；數(shù)據(jù)接收模塊接收車載終端上報的采集數(shù)據(jù)，按照一定數(shù)據(jù)預(yù)處理邏輯進行判斷和處理，將滿足一定條件的數(shù)據(jù)寫入消息中間件Kafka中；數(shù)據(jù)分析任務(wù)管理模塊將數(shù)據(jù)分析任務(wù)提交到Spark分布式計算引擎中，在數(shù)據(jù)分析任務(wù)執(zhí)行過程中統(tǒng)一進行監(jiān)控和管理，將數(shù)據(jù)分析任務(wù)運行期間的監(jiān)控指標和最終分析結(jié)果寫入數(shù)據(jù)庫Clickhouse中；數(shù)據(jù)推送模塊基于Websocket協(xié)議接收用戶訂閱某個數(shù)據(jù)分析任務(wù)輸出結(jié)果請求；解決了傳統(tǒng)數(shù)據(jù)分析平臺無法與線上大數(shù)據(jù)場景環(huán)境對接、模型訓(xùn)練分析過程不規(guī)范等問題。??