生成并執(zhí)行ETL任務(wù)的方法及設(shè)備

基本信息

申請?zhí)?/td> CN201911023033.7 申請日 -
公開（公告）號 CN110765196A 公開（公告）日 2020-02-07
申請公布號 CN110765196A 申請公布日 2020-02-07
分類號 G06F16/25 分類 計算；推算；計數(shù);
發(fā)明人 葛華;王夷;俞楠;吳翔;吳鵬;郭曉丹;魏寶輝 申請（專利權(quán)）人 四川東方網(wǎng)力科技有限公司
代理機構(gòu) 北京細(xì)軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 代理人 韓國強
地址 610000 四川省成都市中國(四川)自由貿(mào)易試驗區(qū)成都高新區(qū)天府五街200號4號樓A區(qū)12樓
法律狀態(tài) -

摘要

摘要 本申請涉及一種生成并執(zhí)行ETL任務(wù)的方法，由于ETL需求中的數(shù)據(jù)處理過程包括多個數(shù)據(jù)處理環(huán)節(jié)，將數(shù)據(jù)處理過程轉(zhuǎn)換成元數(shù)據(jù)，通過元數(shù)據(jù)來描述各所述數(shù)據(jù)處理環(huán)節(jié)的輸入數(shù)據(jù)，輸出數(shù)據(jù)和當(dāng)前數(shù)據(jù)處理環(huán)節(jié)的處理明細(xì)。根據(jù)元數(shù)據(jù)生成ETL任務(wù)并執(zhí)行ETL任務(wù)，得到ETL任務(wù)執(zhí)行結(jié)果，ETL任務(wù)執(zhí)行結(jié)果包括：各數(shù)據(jù)處理環(huán)節(jié)的輸入數(shù)據(jù)數(shù)量，輸出數(shù)據(jù)數(shù)量，數(shù)據(jù)處理結(jié)果。根據(jù)ETL任務(wù)執(zhí)行結(jié)果中的輸入數(shù)據(jù)數(shù)量，輸出數(shù)據(jù)數(shù)量是否達到預(yù)設(shè)要求，數(shù)據(jù)處理結(jié)果是否成功來確定各數(shù)據(jù)處理環(huán)節(jié)是否出現(xiàn)錯誤，從而提高排查效率。