一種大數(shù)據(jù)采集系統(tǒng)和方法

基本信息

申請?zhí)?/td> CN201910013743.5 申請日 -
公開（公告）號 CN109739921A 公開（公告）日 2019-05-10
申請公布號 CN109739921A 申請公布日 2019-05-10
分類號 G06F16/25（2019.01）I; G06F16/22（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王江; 胡濕; 黃福鑫 申請（專利權(quán)）人 北京云基數(shù)技術(shù)有限公司
代理機(jī)構(gòu) 北京細(xì)軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 代理人 北京云基數(shù)技術(shù)有限公司
地址 100020 北京市朝陽區(qū)北苑路乙108號25幢一層8號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種大數(shù)據(jù)采集系統(tǒng)和方法，所述大數(shù)據(jù)采集系統(tǒng)包括：數(shù)據(jù)采集模塊、數(shù)據(jù)匯聚模塊和數(shù)據(jù)接收模塊；所述數(shù)據(jù)采集模塊包括一個或多個agent單元；所述agent單元部署在要采集的數(shù)據(jù)設(shè)備上，所述agent單元用于采集運(yùn)行數(shù)據(jù)，并將該數(shù)據(jù)發(fā)送給數(shù)據(jù)匯聚模塊進(jìn)行聚合和預(yù)處理；所述數(shù)據(jù)接收模塊用于接收數(shù)據(jù)匯聚模塊上傳的處理數(shù)據(jù)，并對該數(shù)據(jù)進(jìn)行加工處理，并將處理后的數(shù)據(jù)進(jìn)行存儲和展示；本發(fā)明的系統(tǒng)通過數(shù)據(jù)匯聚模塊對采集的數(shù)據(jù)進(jìn)行預(yù)處理，能夠降低數(shù)據(jù)傳輸量和傳輸頻率，便于數(shù)據(jù)更穩(wěn)定的傳送給數(shù)據(jù)接收模塊；通過在數(shù)據(jù)采集模塊上設(shè)置存儲單元，能夠降低數(shù)據(jù)泄露和丟失的概率，有利于提高采集系統(tǒng)的安全性。