一種基于多類型設(shè)備的大數(shù)據(jù)處理方法、系統(tǒng)及可讀介質(zhì)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202111188142.1 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN114116861A | 公開（公告）日 | 2022-03-01 |
| 申請(qǐng)公布號(hào) | CN114116861A | 申請(qǐng)公布日 | 2022-03-01 |
| 分類號(hào) | G06F16/25（2019.01）I;G06F16/27（2019.01）I;G06F16/215（2019.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 邱偉;黃文龍;葉杰琛;黃建榮;林觀輝;王順超;韓東興;郭坤陽;楊振亞;南穎;馬方遠(yuǎn);王軍 | 申請(qǐng)（專利權(quán)）人 | 北京國電通網(wǎng)絡(luò)技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 廈門市首創(chuàng)君合專利事務(wù)所有限公司 | 代理人 | 張松亭 |
| 地址 | 100031北京市西城區(qū)西長(zhǎng)安街86號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于多類型設(shè)備的大數(shù)據(jù)處理方法、系統(tǒng)及可讀介質(zhì)，通過構(gòu)建以ETL層、服務(wù)層和存儲(chǔ)層組成的大數(shù)據(jù)平臺(tái)，ELT層包括數(shù)據(jù)采集模塊和數(shù)據(jù)支撐模塊，服務(wù)層包括Stream模塊、批處理模塊和GPU資源模塊，存儲(chǔ)層包括分布式存儲(chǔ)模塊，將原始數(shù)據(jù)通過數(shù)據(jù)清洗管道流入大數(shù)據(jù)集群或存儲(chǔ)層，通過Stream模塊對(duì)原始數(shù)據(jù)中的實(shí)時(shí)數(shù)據(jù)進(jìn)行消費(fèi)和實(shí)時(shí)計(jì)算，通過批處理模塊對(duì)原始數(shù)據(jù)中的離線數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；最后存儲(chǔ)在分布式存儲(chǔ)模塊，并結(jié)合數(shù)據(jù)支撐模塊實(shí)現(xiàn)數(shù)據(jù)的分類和發(fā)布。該方法能夠讓感知設(shè)備回傳的復(fù)雜數(shù)據(jù)治理過程具備可編程性、可擴(kuò)展性，徹底解決了抽水蓄電站基建現(xiàn)場(chǎng)數(shù)據(jù)難管理、難計(jì)算和使用率低下的問題。 |
