一種基于多類型設備的大數(shù)據(jù)處理方法、系統(tǒng)及可讀介質

基本信息

申請?zhí)?/td> CN202111188142.1 申請日 -
公開（公告）號 CN114116861A 公開（公告）日 2022-03-01
申請公布號 CN114116861A 申請公布日 2022-03-01
分類號 G06F16/25（2019.01）I;G06F16/27（2019.01）I;G06F16/215（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 邱偉;黃文龍;葉杰琛;黃建榮;林觀輝;王順超;韓東興;郭坤陽;楊振亞;南穎;馬方遠;王軍 申請（專利權）人 北京國電通網(wǎng)絡技術有限公司
代理機構 廈門市首創(chuàng)君合專利事務所有限公司 代理人 張松亭
地址 100031北京市西城區(qū)西長安街86號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于多類型設備的大數(shù)據(jù)處理方法、系統(tǒng)及可讀介質，通過構建以ETL層、服務層和存儲層組成的大數(shù)據(jù)平臺，ELT層包括數(shù)據(jù)采集模塊和數(shù)據(jù)支撐模塊，服務層包括Stream模塊、批處理模塊和GPU資源模塊，存儲層包括分布式存儲模塊，將原始數(shù)據(jù)通過數(shù)據(jù)清洗管道流入大數(shù)據(jù)集群或存儲層，通過Stream模塊對原始數(shù)據(jù)中的實時數(shù)據(jù)進行消費和實時計算，通過批處理模塊對原始數(shù)據(jù)中的離線數(shù)據(jù)進行數(shù)據(jù)清洗；最后存儲在分布式存儲模塊，并結合數(shù)據(jù)支撐模塊實現(xiàn)數(shù)據(jù)的分類和發(fā)布。該方法能夠讓感知設備回傳的復雜數(shù)據(jù)治理過程具備可編程性、可擴展性，徹底解決了抽水蓄電站基建現(xiàn)場數(shù)據(jù)難管理、難計算和使用率低下的問題。