一種基于大數(shù)據(jù)技術(shù)的分布式任務(wù)調(diào)度方法

基本信息

申請(qǐng)?zhí)?/td> CN202010939553.9 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN112148445A 公開(kāi)(公告)日 2020-12-29
申請(qǐng)公布號(hào) CN112148445A 申請(qǐng)公布日 2020-12-29
分類(lèi)號(hào) G06F9/48(2006.01)I;G06F9/50(2006.01)I 分類(lèi) 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 鄭小鋒;官俊;涂崗;馮云龍;郭翠蓮 申請(qǐng)(專(zhuān)利權(quán))人 倍智智能數(shù)據(jù)運(yùn)營(yíng)有限公司
代理機(jī)構(gòu) 成都弘毅天承知識(shí)產(chǎn)權(quán)代理有限公司 代理人 倍智智能數(shù)據(jù)運(yùn)營(yíng)有限公司
地址 610000四川省成都市高新區(qū)中國(guó)節(jié)能大廈A座27樓2706室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域,具體是一種基于大數(shù)據(jù)技術(shù)的分布式任務(wù)調(diào)度方法,包括如下步驟:S1、程序包或HTTP接口進(jìn)行注冊(cè);S2、將所有創(chuàng)建的任務(wù)節(jié)點(diǎn)串聯(lián)起來(lái)形成待執(zhí)行任務(wù)的工作流程;S3、將配置好的工作流程注冊(cè)到數(shù)據(jù)庫(kù)或分布式服務(wù)框架中;S4、初始化、注冊(cè)并啟動(dòng)任務(wù)調(diào)度節(jié)點(diǎn),任務(wù)調(diào)度節(jié)點(diǎn)將待執(zhí)行任務(wù)下發(fā)給未發(fā)生負(fù)載情況任務(wù)執(zhí)行節(jié)點(diǎn);S5、初始化、注冊(cè)并啟動(dòng)任務(wù)執(zhí)行節(jié)點(diǎn),任務(wù)執(zhí)行節(jié)點(diǎn)持續(xù)接收待執(zhí)行任務(wù)并執(zhí)行;S6、任務(wù)執(zhí)行節(jié)點(diǎn)執(zhí)行完該待執(zhí)行任務(wù)后,將執(zhí)行情況上報(bào)給任務(wù)調(diào)度節(jié)點(diǎn);解決了任務(wù)調(diào)度沒(méi)有補(bǔ)償機(jī)制、宕機(jī)時(shí),剩余待調(diào)度任務(wù)無(wú)法執(zhí)行、對(duì)大數(shù)據(jù)相關(guān)程度調(diào)度支持性低以及度的任務(wù)過(guò)多時(shí),任務(wù)運(yùn)行效率會(huì)明顯下降的問(wèn)題。??