一種分布式的數(shù)據(jù)倉庫工作流調(diào)度方法

基本信息

申請?zhí)?/td> CN202110999193.6 申請日 -
公開（公告）號 CN113821320A 公開（公告）日 2021-12-21
申請公布號 CN113821320A 申請公布日 2021-12-21
分類號 G06F9/48（2006.01）I;G06F16/2455（2019.01）I;G06F16/27（2019.01）I;G06F16/28（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 茆漢祥;劉寧 申請（專利權(quán)）人 云智聯(lián)網(wǎng)絡(luò)科技（北京）有限公司
代理機構(gòu) 成都魚爪智云知識產(chǎn)權(quán)代理有限公司 代理人 張麗
地址 100025北京市朝陽區(qū)八里莊西里100號1號樓7層西區(qū)701號123室
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于數(shù)據(jù)分析領(lǐng)域，涉及數(shù)據(jù)倉庫，具體為一種分布式的數(shù)據(jù)倉庫工作流調(diào)度方法，其調(diào)度方法包括如下步驟：步驟1.數(shù)據(jù)開發(fā)人員定義業(yè)務(wù)邏輯及所依賴的配置文件；步驟2.向系統(tǒng)提交git相關(guān)設(shè)置內(nèi)容；步驟3.創(chuàng)建任務(wù)DAG；步驟4.對步驟3中創(chuàng)建的任務(wù)進(jìn)行任務(wù)分發(fā)；步驟5.完成對各個任務(wù)worker節(jié)點的創(chuàng)建分發(fā)，本發(fā)明進(jìn)一步規(guī)范了抽取數(shù)據(jù)的流程，進(jìn)一步地提升了數(shù)據(jù)庫工作的穩(wěn)定性和準(zhǔn)確性，保證了數(shù)據(jù)的計算的流程，提升了數(shù)據(jù)倉庫處理的準(zhǔn)確性，并且在提升了任務(wù)處理效率的同時，減小了任務(wù)出現(xiàn)問題的概率，進(jìn)一步提升了整個數(shù)據(jù)倉庫調(diào)度的效率。