一種海量數(shù)據(jù)平臺與大數(shù)據(jù)平臺融合方法

基本信息

申請?zhí)?/td> CN201810496314.3 申請日 -
公開（公告）號 CN108959369B 公開（公告）日 2021-11-30
申請公布號 CN108959369B 申請公布日 2021-11-30
分類號 G06F16/2455（2019.01）I;G06F16/25（2019.01）I;G06F16/22（2019.01）I;G06Q50/06（2012.01）I 分類 計算；推算；計數(shù);
發(fā)明人 韓嘉佳;猶鋒;周升;張曉曉;倪陽旦;張珂珩;孫歆;張高坤;李景;李賢慧;戴樺;李沁園;汪自翔;呂磅;李霽遠(yuǎn);王劉旺 申請（專利權(quán)）人 江蘇瑞中數(shù)據(jù)股份有限公司
代理機(jī)構(gòu) 南京蘇高專利商標(biāo)事務(wù)所（普通合伙） 代理人 張弛
地址 310000浙江省杭州市華電弄1號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種海量數(shù)據(jù)平臺與大數(shù)據(jù)平臺融合方法，該平臺包括數(shù)據(jù)采集層、數(shù)據(jù)緩存層和數(shù)據(jù)存儲層；該融合方法包括：數(shù)據(jù)采集層采用分布式消息隊列Kafka機(jī)制，實現(xiàn)測點(diǎn)數(shù)據(jù)傳輸；數(shù)據(jù)緩存層采用REDIS鍵值型內(nèi)存數(shù)據(jù)庫，實現(xiàn)用戶即席查詢需求；數(shù)據(jù)存儲層采用HBASE列式存儲，結(jié)合測點(diǎn)數(shù)據(jù)時序特征，對測點(diǎn)數(shù)據(jù)特征進(jìn)行列式存儲，本發(fā)明提出的海量數(shù)據(jù)平臺與大數(shù)據(jù)平臺融合方法，實現(xiàn)了海量平臺與大數(shù)據(jù)平臺最佳融合，通過統(tǒng)一技術(shù)路線、統(tǒng)一技術(shù)支持、明確職責(zé)分工，實現(xiàn)大數(shù)據(jù)應(yīng)用服務(wù)平臺化，全面支撐各專業(yè)大數(shù)據(jù)應(yīng)用需求，解決公司各專業(yè)的大數(shù)據(jù)應(yīng)用需求，保障數(shù)據(jù)和業(yè)務(wù)的連續(xù)性。