一種海量數(shù)據(jù)平臺(tái)與大數(shù)據(jù)平臺(tái)融合方法

基本信息

申請(qǐng)?zhí)?/td> CN201810496314.3 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN108959369B 公開(kāi)（公告）日 2021-11-30
申請(qǐng)公布號(hào) CN108959369B 申請(qǐng)公布日 2021-11-30
分類號(hào) G06F16/2455（2019.01）I;G06F16/25（2019.01）I;G06F16/22（2019.01）I;G06Q50/06（2012.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 韓嘉佳;猶鋒;周升;張曉曉;倪陽(yáng)旦;張珂珩;孫歆;張高坤;李景;李賢慧;戴樺;李沁園;汪自翔;呂磅;李霽遠(yuǎn);王劉旺 申請(qǐng)（專利權(quán)）人 江蘇瑞中數(shù)據(jù)股份有限公司
代理機(jī)構(gòu) 南京蘇高專利商標(biāo)事務(wù)所（普通合伙） 代理人 張弛
地址 310000浙江省杭州市華電弄1號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種海量數(shù)據(jù)平臺(tái)與大數(shù)據(jù)平臺(tái)融合方法，該平臺(tái)包括數(shù)據(jù)采集層、數(shù)據(jù)緩存層和數(shù)據(jù)存儲(chǔ)層；該融合方法包括：數(shù)據(jù)采集層采用分布式消息隊(duì)列Kafka機(jī)制，實(shí)現(xiàn)測(cè)點(diǎn)數(shù)據(jù)傳輸；數(shù)據(jù)緩存層采用REDIS鍵值型內(nèi)存數(shù)據(jù)庫(kù)，實(shí)現(xiàn)用戶即席查詢需求；數(shù)據(jù)存儲(chǔ)層采用HBASE列式存儲(chǔ)，結(jié)合測(cè)點(diǎn)數(shù)據(jù)時(shí)序特征，對(duì)測(cè)點(diǎn)數(shù)據(jù)特征進(jìn)行列式存儲(chǔ)，本發(fā)明提出的海量數(shù)據(jù)平臺(tái)與大數(shù)據(jù)平臺(tái)融合方法，實(shí)現(xiàn)了海量平臺(tái)與大數(shù)據(jù)平臺(tái)最佳融合，通過(guò)統(tǒng)一技術(shù)路線、統(tǒng)一技術(shù)支持、明確職責(zé)分工，實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)化，全面支撐各專業(yè)大數(shù)據(jù)應(yīng)用需求，解決公司各專業(yè)的大數(shù)據(jù)應(yīng)用需求，保障數(shù)據(jù)和業(yè)務(wù)的連續(xù)性。