分布式任務的處理方法、裝置和計算機設備

基本信息

申請?zhí)?/td> CN202010103085.1 申請日 -
公開（公告）號 CN113282649A 公開（公告）日 2021-08-20
申請公布號 CN113282649A 申請公布日 2021-08-20
分類號 G06F16/25（2019.01）I;G06F16/22（2019.01）I;G06F16/28（2019.01）I;G06F9/50（2006.01）I;G06F9/48（2006.01）I;G06F9/54（2006.01）I 分類 計算；推算；計數;
發(fā)明人 薛星海 申請（專利權）人 北京國雙科技有限公司
代理機構 北京華夏泰和知識產權代理有限公司 代理人 王衛(wèi)忠;李雪
地址 100083北京市海淀區(qū)北四環(huán)中路229號海泰大廈4層南401號
法律狀態(tài) -

摘要

摘要 本申請涉及一種分布式任務的處理方法、裝置和計算機設備，其中方法包括：創(chuàng)建管理節(jié)點和任務執(zhí)行節(jié)點，其中，所述管理節(jié)點用于創(chuàng)建數據處理任務，所述任務執(zhí)行節(jié)點用于執(zhí)行所述數據處理任務，所述數據處理任務用于將數據經過抽取、清洗轉換之后加載到數據倉庫；在所述管理節(jié)點創(chuàng)建所述數據處理任務后，通過分布式應用程序協(xié)調服務Zookeeper分配所述數據處理任務給處于空閑狀態(tài)的所述任務執(zhí)行節(jié)點。本申請通過Zookeeper來調度多個管理節(jié)點和多個任務執(zhí)行節(jié)點共同協(xié)調運作，實現集群的高度可用和分布式任務執(zhí)行和資源調度管理，極大的提高的ETL系統(tǒng)的任務運行性能，并支持故障轉移，擁有很高的擴展性和易管理性。