一種基于大數(shù)據(jù)技術(shù)的分布式任務(wù)調(diào)度方法

基本信息

申請?zhí)?/td> CN202010939553.9 申請日 -
公開(公告)號 CN112148445A 公開(公告)日 2020-12-29
申請公布號 CN112148445A 申請公布日 2020-12-29
分類號 G06F9/48(2006.01)I;G06F9/50(2006.01)I 分類 計算;推算;計數(shù);
發(fā)明人 鄭小鋒;官俊;涂崗;馮云龍;郭翠蓮 申請(專利權(quán))人 倍智智能數(shù)據(jù)運營有限公司
代理機構(gòu) 成都弘毅天承知識產(chǎn)權(quán)代理有限公司 代理人 倍智智能數(shù)據(jù)運營有限公司
地址 610000四川省成都市高新區(qū)中國節(jié)能大廈A座27樓2706室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域,具體是一種基于大數(shù)據(jù)技術(shù)的分布式任務(wù)調(diào)度方法,包括如下步驟:S1、程序包或HTTP接口進行注冊;S2、將所有創(chuàng)建的任務(wù)節(jié)點串聯(lián)起來形成待執(zhí)行任務(wù)的工作流程;S3、將配置好的工作流程注冊到數(shù)據(jù)庫或分布式服務(wù)框架中;S4、初始化、注冊并啟動任務(wù)調(diào)度節(jié)點,任務(wù)調(diào)度節(jié)點將待執(zhí)行任務(wù)下發(fā)給未發(fā)生負載情況任務(wù)執(zhí)行節(jié)點;S5、初始化、注冊并啟動任務(wù)執(zhí)行節(jié)點,任務(wù)執(zhí)行節(jié)點持續(xù)接收待執(zhí)行任務(wù)并執(zhí)行;S6、任務(wù)執(zhí)行節(jié)點執(zhí)行完該待執(zhí)行任務(wù)后,將執(zhí)行情況上報給任務(wù)調(diào)度節(jié)點;解決了任務(wù)調(diào)度沒有補償機制、宕機時,剩余待調(diào)度任務(wù)無法執(zhí)行、對大數(shù)據(jù)相關(guān)程度調(diào)度支持性低以及度的任務(wù)過多時,任務(wù)運行效率會明顯下降的問題。??