基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)及方法

基本信息

申請?zhí)?/td> CN201710103779.3 申請日 -
公開（公告）號 CN106933992A 公開（公告）日 2017-07-07
申請公布號 CN106933992A 申請公布日 2017-07-07
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 劉星;張春宏;侯鑫;潘慶東;陽忠平;楊曉斌 申請（專利權(quán)）人 北京華安普惠高新技術(shù)有限公司
代理機構(gòu) 北京五洲洋和知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 劉春成
地址 100070 北京市豐臺區(qū)汽車博物館東路1號院1號樓8層南座905室
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，提供了一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)及方法。該系統(tǒng)包括：傳感器網(wǎng)絡(luò)，包括多個傳感器；數(shù)據(jù)采集節(jié)點，包括數(shù)據(jù)清洗引擎和數(shù)據(jù)清洗規(guī)則庫；數(shù)據(jù)服務(wù)器，包括數(shù)據(jù)庫、數(shù)據(jù)有效性分析模塊、數(shù)據(jù)清洗規(guī)則生成模塊和數(shù)據(jù)清洗規(guī)則發(fā)布模塊。該方法包括：通過傳感器網(wǎng)絡(luò)中的多個傳感器采集第一數(shù)據(jù)；在數(shù)據(jù)采集節(jié)點中根據(jù)第一數(shù)據(jù)生成第二數(shù)據(jù)；在數(shù)據(jù)服務(wù)器中，根據(jù)第二數(shù)據(jù)，利用數(shù)據(jù)庫、數(shù)據(jù)有效性分析模塊、數(shù)據(jù)清洗規(guī)則生成模塊和數(shù)據(jù)清洗規(guī)則發(fā)布模塊完成數(shù)據(jù)清洗。本發(fā)明的系統(tǒng)和方法能夠自適應(yīng)地調(diào)整數(shù)據(jù)清洗規(guī)則，提高分布式傳感器網(wǎng)絡(luò)部署的效率，并及時消除新產(chǎn)生的干擾對采集系統(tǒng)的影響。