一種大數(shù)據(jù)平臺去中心化的調(diào)度和執(zhí)行方法、裝置

基本信息

申請?zhí)?/td> CN202011631395.7 申請日 -
公開（公告）號 CN112822250A 公開（公告）日 2021-05-18
申請公布號 CN112822250A 申請公布日 2021-05-18
分類號 H04L29/08 分類 電通信技術(shù);
發(fā)明人 王晟 申請（專利權(quán)）人 鯨靈科技有限責任公司
代理機構(gòu) 南京蘇高專利商標事務(wù)所（普通合伙） 代理人 吳靜波
地址 225000 江蘇省揚州市邗江區(qū)瘦西湖路195號花都匯商務(wù)中心2號樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種大數(shù)據(jù)平臺去中心化的任務(wù)調(diào)度觸發(fā)和執(zhí)行方法，若干個調(diào)度觸發(fā)模塊以進程為單位分布在ZooKeeper集群中同時運行、調(diào)度觸發(fā)模塊將被調(diào)度大數(shù)據(jù)計算任務(wù)的META信息寫入ZooKeeper集群、任務(wù)執(zhí)行模塊以進程為單位，分布在ZooKeeper集群多個ZNode節(jié)點中運行、任務(wù)執(zhí)行模塊從ZooKeeper的ZNode樹上進行依次遍歷；當發(fā)現(xiàn)某個子過程具備執(zhí)行條件時，鎖定該任務(wù)、獲取任務(wù)信息，執(zhí)行該任務(wù)，并將任務(wù)的子過程執(zhí)行結(jié)果和狀態(tài)信息寫入MySQL的任務(wù)歷史、用戶通過WebSocket協(xié)議建立后端WEB模塊的連接，實時掌控ZooKeeper樹中記錄的所有任務(wù)的配置和狀態(tài)信息。