基于Kettle的任務(wù)監(jiān)管方法和裝置

基本信息

申請?zhí)?/td> CN201811579629.0 申請日 -
公開（公告）號 CN109669820A 公開（公告）日 2019-04-23
申請公布號 CN109669820A 申請公布日 2019-04-23
分類號 G06F11/16（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 劉軍; 施孝鵬; 陳金海 申請（專利權(quán)）人 廣州君海網(wǎng)絡(luò)科技有限公司
代理機構(gòu) 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 代理人 廣州君海網(wǎng)絡(luò)科技有限公司
地址 510000 廣東省廣州市天河區(qū)中山大道西238號1816房
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Kettle的任務(wù)監(jiān)管方法和裝置，其涉及：至少兩個Master節(jié)點，通過選舉選出一活躍Master節(jié)點，令其處于工作狀態(tài)，其他Master節(jié)點處于待命狀態(tài)，Master節(jié)點與各個Slave節(jié)點數(shù)據(jù)通訊；Master節(jié)點將接收到的請求執(zhí)行任務(wù)分發(fā)到Slave節(jié)點，接收Slave節(jié)點反饋的任務(wù)運行結(jié)果，將任務(wù)信息、任務(wù)運行結(jié)果以及自身的狀態(tài)信息發(fā)送到Monitor；若干個Slave節(jié)點，用于任務(wù)的執(zhí)行，并定時將自身信息反饋給Master節(jié)點；Mon?itor收集所有Master節(jié)點狀態(tài)，存儲Master節(jié)點狀態(tài)、Master節(jié)點接收到的任務(wù)進度、Slave節(jié)點的狀態(tài)及對應(yīng)運行任務(wù)信息，判斷Master節(jié)點和Slave節(jié)點是否工作異常；Zookeeper集群存儲各節(jié)點狀態(tài)和執(zhí)行任務(wù)進度信息。本發(fā)明可以確保任務(wù)的執(zhí)行不受Carte集群的影響，可更便捷的操作沒有數(shù)據(jù)時間的增量數(shù)據(jù)同步。