一種分布式的數(shù)據(jù)倉庫工作流調(diào)度方法

基本信息

申請(qǐng)?zhí)?/td> CN202110999193.6 申請(qǐng)日 -
公開（公告）號(hào) CN113821320A 公開（公告）日 2021-12-21
申請(qǐng)公布號(hào) CN113821320A 申請(qǐng)公布日 2021-12-21
分類號(hào) G06F9/48（2006.01）I;G06F16/2455（2019.01）I;G06F16/27（2019.01）I;G06F16/28（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 茆漢祥;劉寧 申請(qǐng)（專利權(quán)）人 云智聯(lián)網(wǎng)絡(luò)科技（北京）有限公司
代理機(jī)構(gòu) 成都魚爪智云知識(shí)產(chǎn)權(quán)代理有限公司 代理人 張麗
地址 100025北京市朝陽區(qū)八里莊西里100號(hào)1號(hào)樓7層西區(qū)701號(hào)123室
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于數(shù)據(jù)分析領(lǐng)域，涉及數(shù)據(jù)倉庫，具體為一種分布式的數(shù)據(jù)倉庫工作流調(diào)度方法，其調(diào)度方法包括如下步驟：步驟1.數(shù)據(jù)開發(fā)人員定義業(yè)務(wù)邏輯及所依賴的配置文件；步驟2.向系統(tǒng)提交git相關(guān)設(shè)置內(nèi)容；步驟3.創(chuàng)建任務(wù)DAG；步驟4.對(duì)步驟3中創(chuàng)建的任務(wù)進(jìn)行任務(wù)分發(fā)；步驟5.完成對(duì)各個(gè)任務(wù)worker節(jié)點(diǎn)的創(chuàng)建分發(fā)，本發(fā)明進(jìn)一步規(guī)范了抽取數(shù)據(jù)的流程，進(jìn)一步地提升了數(shù)據(jù)庫工作的穩(wěn)定性和準(zhǔn)確性，保證了數(shù)據(jù)的計(jì)算的流程，提升了數(shù)據(jù)倉庫處理的準(zhǔn)確性，并且在提升了任務(wù)處理效率的同時(shí)，減小了任務(wù)出現(xiàn)問題的概率，進(jìn)一步提升了整個(gè)數(shù)據(jù)倉庫調(diào)度的效率。