一種去中心化大數(shù)據(jù)作業(yè)流調度方法及裝置

基本信息

申請?zhí)?/td> CN202011044841.4 申請日 -
公開（公告）號 CN112579267A 公開（公告）日 2021-03-30
申請公布號 CN112579267A 申請公布日 2021-03-30
分類號 G06F9/48(2006.01)I;G06F16/27(2019.01)I;G06F9/52(2006.01)I;G06F16/21(2019.01)I 分類 計算；推算；計數(shù);
發(fā)明人 王濟平;黎剛;湯克云;周健雄;高俊杰 申請（專利權）人 京信數(shù)據(jù)科技有限公司
代理機構 深圳余梅專利代理事務所（特殊普通合伙） 代理人 陳余才
地址 528400廣東省中山市東區(qū)中山五路57號7層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種去中心化大數(shù)據(jù)作業(yè)流調度方法及裝置。作業(yè)流調度方法包括以下步驟：步驟S1，構建作業(yè)流并轉化為進程實例，對進程實例執(zhí)行操作命令并寫入工作流命令表；步驟S2，Master集群競爭獲取工作流命令表中的命令并分析對應進程實例，將進程實例拆分成任務實例，并且寫入任務隊列中；步驟S3，Worker集群競爭獲取任務隊列中的批次任務，將批次任務實例化之后執(zhí)行批次任務。本發(fā)明Master集群和Worker集群都采用去中心化的方式布設，同時采用分布式鎖來選定其中一臺服務器作為管理者執(zhí)行任務，所有節(jié)點都可以充當Maste/Worker職能，不存在區(qū)別于其他節(jié)點的單一管理者，避免因中心化Master節(jié)點出故障而導致整個大數(shù)據(jù)作業(yè)調度而停止運行，提高了系統(tǒng)的穩(wěn)定性和魯棒性。??