一種去中心化大數(shù)據(jù)作業(yè)流調(diào)度方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011044841.4 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN112579267A | 公開(kāi)（公告）日 | 2021-03-30 |
| 申請(qǐng)公布號(hào) | CN112579267A | 申請(qǐng)公布日 | 2021-03-30 |
| 分類號(hào) | G06F9/48(2006.01)I;G06F16/27(2019.01)I;G06F9/52(2006.01)I;G06F16/21(2019.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王濟(jì)平;黎剛;湯克云;周健雄;高俊杰 | 申請(qǐng)（專利權(quán)）人 | 京信數(shù)據(jù)科技有限公司 |
| 代理機(jī)構(gòu) | 深圳余梅專利代理事務(wù)所（特殊普通合伙） | 代理人 | 陳余才 |
| 地址 | 528400廣東省中山市東區(qū)中山五路57號(hào)7層 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種去中心化大數(shù)據(jù)作業(yè)流調(diào)度方法及裝置。作業(yè)流調(diào)度方法包括以下步驟：步驟S1，構(gòu)建作業(yè)流并轉(zhuǎn)化為進(jìn)程實(shí)例，對(duì)進(jìn)程實(shí)例執(zhí)行操作命令并寫入工作流命令表；步驟S2，Master集群競(jìng)爭(zhēng)獲取工作流命令表中的命令并分析對(duì)應(yīng)進(jìn)程實(shí)例，將進(jìn)程實(shí)例拆分成任務(wù)實(shí)例，并且寫入任務(wù)隊(duì)列中；步驟S3，Worker集群競(jìng)爭(zhēng)獲取任務(wù)隊(duì)列中的批次任務(wù)，將批次任務(wù)實(shí)例化之后執(zhí)行批次任務(wù)。本發(fā)明Master集群和Worker集群都采用去中心化的方式布設(shè)，同時(shí)采用分布式鎖來(lái)選定其中一臺(tái)服務(wù)器作為管理者執(zhí)行任務(wù)，所有節(jié)點(diǎn)都可以充當(dāng)Maste/Worker職能，不存在區(qū)別于其他節(jié)點(diǎn)的單一管理者，避免因中心化Master節(jié)點(diǎn)出故障而導(dǎo)致整個(gè)大數(shù)據(jù)作業(yè)調(diào)度而停止運(yùn)行，提高了系統(tǒng)的穩(wěn)定性和魯棒性。?? |
