一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)及方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010709750.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111858572B | 公開(kāi)（公告）日 | 2021-06-15 |
| 申請(qǐng)公布號(hào) | CN111858572B | 申請(qǐng)公布日 | 2021-06-15 |
| 分類(lèi)號(hào) | G06F16/215（2019.01）I;G06K9/62（2006.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 張偉;徐志峰 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 山東省科院易達(dá)信息科技有限公司 |
| 代理機(jī)構(gòu) | 江蘇長(zhǎng)德知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 周天雯 |
| 地址 | 250000山東省濟(jì)南市中國(guó)（山東）自由貿(mào)易試驗(yàn)區(qū)濟(jì)南片區(qū)新濼大街2008號(hào)銀荷大廈B座303 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)，該基于數(shù)據(jù)分析的分布式數(shù)據(jù)清洗系統(tǒng)，包括多元異構(gòu)數(shù)據(jù)庫(kù)，存儲(chǔ)用戶(hù)模型、元數(shù)據(jù)元素以及與其有對(duì)應(yīng)關(guān)系的源數(shù)據(jù)元素；以及至少一個(gè)以上的處理單元，可操作來(lái)：提取多元異構(gòu)數(shù)據(jù)庫(kù)的用戶(hù)模型、元數(shù)據(jù)元素以及源數(shù)據(jù)元素；選出初始元數(shù)據(jù)元素；選擇所述用戶(hù)模型的至少一個(gè)以上的數(shù)據(jù)屬性項(xiàng)作為關(guān)系參數(shù)，所述關(guān)系參數(shù)對(duì)應(yīng)的預(yù)設(shè)加權(quán)值，提取元數(shù)據(jù)集Q；對(duì)元數(shù)據(jù)集Q中的所述元數(shù)據(jù)元素進(jìn)行清洗；本發(fā)明基于用戶(hù)模型配合關(guān)系參數(shù)的選定能夠篩選多個(gè)類(lèi)別的元數(shù)據(jù)集，對(duì)于各個(gè)類(lèi)別的元數(shù)據(jù)集可以選定針對(duì)的清洗規(guī)則，提高清洗速度，具有較高的靈活度和實(shí)用性，提高了數(shù)據(jù)清洗的可控性。 |
