一種可配置數(shù)據(jù)清洗系統(tǒng)和方法

基本信息

申請(qǐng)?zhí)?/td> CN201810677790.5 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN108984652A 公開(kāi)（公告）日 2018-12-11
申請(qǐng)公布號(hào) CN108984652A 申請(qǐng)公布日 2018-12-11
分類號(hào) G06F17/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳鵬林;郝東進(jìn);沈惟冉;王騰龍 申請(qǐng)（專利權(quán)）人 北京亞融方成科技有限公司
代理機(jī)構(gòu) 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 北京圣康匯金科技有限公司
地址 100081 北京市海淀區(qū)學(xué)院南路62號(hào)中關(guān)村資本大廈407室
法律狀態(tài) -

摘要

摘要 本申請(qǐng)公開(kāi)了一種可配置數(shù)據(jù)清洗系統(tǒng)和方法，包括任務(wù)控制器、清洗工具、第一配置表、第二配置表、第三配置表。第一配置表包括任務(wù)編碼和清洗工具。第二配置表包括任務(wù)編碼、數(shù)據(jù)標(biāo)識(shí)、源數(shù)據(jù)庫(kù)、目標(biāo)數(shù)據(jù)庫(kù)和清洗規(guī)則標(biāo)識(shí)。源數(shù)據(jù)庫(kù)中包括源字段，目標(biāo)數(shù)據(jù)庫(kù)中包括目標(biāo)字段。第三配置表包括數(shù)據(jù)標(biāo)識(shí)、字段名稱、源字段、目標(biāo)字段和轉(zhuǎn)換規(guī)則標(biāo)識(shí)。任務(wù)控制器讀取配置表，調(diào)用清洗工具。清洗工具根據(jù)任務(wù)編碼對(duì)應(yīng)的數(shù)據(jù)標(biāo)識(shí)從源數(shù)據(jù)庫(kù)中讀取源數(shù)據(jù)、確定清洗規(guī)則、按照清洗規(guī)則篩選源數(shù)據(jù)。確定字段名稱對(duì)應(yīng)的轉(zhuǎn)換規(guī)則標(biāo)識(shí)，由源字段的數(shù)據(jù)轉(zhuǎn)換為目標(biāo)字段的數(shù)據(jù)，發(fā)送至目標(biāo)數(shù)據(jù)庫(kù)。所述系統(tǒng)和方法保證了數(shù)據(jù)清洗的連貫性，有效利用時(shí)間和資源。