一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)及方法

基本信息

申請?zhí)?/td> CN202010709750.1 申請日 -
公開（公告）號 CN111858572B 公開（公告）日 2021-06-15
申請公布號 CN111858572B 申請公布日 2021-06-15
分類號 G06F16/215（2019.01）I;G06K9/62（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 張偉;徐志峰 申請（專利權）人 山東省科院易達信息科技有限公司
代理機構 江蘇長德知識產權代理有限公司 代理人 周天雯
地址 250000山東省濟南市中國（山東）自由貿易試驗區(qū)濟南片區(qū)新濼大街2008號銀荷大廈B座303
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)，該基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)，包括多元異構數(shù)據(jù)庫，存儲用戶模型、元數(shù)據(jù)元素以及與其有對應關系的源數(shù)據(jù)元素；以及至少一個以上的處理單元，可操作來：提取多元異構數(shù)據(jù)庫的用戶模型、元數(shù)據(jù)元素以及源數(shù)據(jù)元素；選出初始元數(shù)據(jù)元素；選擇所述用戶模型的至少一個以上的數(shù)據(jù)屬性項作為關系參數(shù)，所述關系參數(shù)對應的預設加權值，提取元數(shù)據(jù)集Q；對元數(shù)據(jù)集Q中的所述元數(shù)據(jù)元素進行清洗；本發(fā)明基于用戶模型配合關系參數(shù)的選定能夠篩選多個類別的元數(shù)據(jù)集，對于各個類別的元數(shù)據(jù)集可以選定針對的清洗規(guī)則，提高清洗速度，具有較高的靈活度和實用性，提高了數(shù)據(jù)清洗的可控性。