一種ETL系統(tǒng)的高效流程編排方法和系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202011068846.0 申請(qǐng)日 -
公開（公告）號(hào) CN112115192A 公開（公告）日 2021-07-02
申請(qǐng)公布號(hào) CN112115192A 申請(qǐng)公布日 2021-07-02
分類號(hào) G06F16/25;G06F9/445 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張春林;李利軍;李春青;常江波;尚雪松 申請(qǐng)（專利權(quán)）人 北京泰策科技有限公司
代理機(jī)構(gòu) 北京冠和權(quán)律師事務(wù)所 代理人 安琪
地址 100000 北京市大興區(qū)北京經(jīng)濟(jì)技術(shù)開發(fā)區(qū)科谷一街10號(hào)院2號(hào)樓12層1201
法律狀態(tài) -

摘要

摘要 本發(fā)明提出了一種ETL系統(tǒng)的高效流程編排方法和系統(tǒng)，所述方法包括：調(diào)取所述ETL系統(tǒng)的操作流程中與ETL任務(wù)對(duì)應(yīng)的元數(shù)據(jù)，根據(jù)操作流程的邏輯關(guān)系，自動(dòng)將所述元數(shù)據(jù)編輯為與所述邏輯關(guān)系對(duì)應(yīng)的有向無環(huán)圖；對(duì)所述有向無環(huán)圖進(jìn)行批量解析，獲得所述有向無環(huán)圖對(duì)應(yīng)的DAG流程，并對(duì)所述DAG流程進(jìn)行配置；將所述DAG流程發(fā)送至計(jì)算引擎，通過所述計(jì)算引擎對(duì)所述DAG流程進(jìn)行執(zhí)行。所述系統(tǒng)包括與所述方案的步驟對(duì)應(yīng)的模塊。