基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法

基本信息

申請?zhí)?/td> CN201910250517.9 申請日 -
公開（公告）號 CN110086855A 公開（公告）日 2019-08-02
申請公布號 CN110086855A 申請公布日 2019-08-02
分類號 H04L29/08（2006.01）I; G06N3/00（2006.01）I 分類 電通信技術(shù);
發(fā)明人 陳華; 李凱 申請（專利權(quán)）人 江蘇開拓信息與系統(tǒng)有限公司
代理機構(gòu) 無錫市匯誠永信專利代理事務(wù)所（普通合伙） 代理人 王闖;葛莉華
地址 214000 江蘇省無錫市濱湖區(qū)蠡湖商務(wù)園9號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法，其特征在于，客戶端向任務(wù)調(diào)度控制器發(fā)送計算請求；集群資源智能控制器通過kafka消息組件實時收集各spark計算結(jié)點上的工作負(fù)載和在運行時加載流量信息并進行數(shù)據(jù)的匯聚；集群資源智能控制器通過基于蟻群算法的調(diào)度計算方法對各spark計算結(jié)點的資源進行計算；任務(wù)調(diào)度控制器調(diào)取集群資源智能控制器計算之后的任務(wù)資源信息；任務(wù)調(diào)度控制器按新的計算需求執(zhí)行的資源與運行權(quán)重，與各個spark計算結(jié)點進行通信，把新計算任務(wù)加載到合適的spark計算結(jié)點中；spark計算結(jié)點獲取計算任務(wù)后，從Hadoop數(shù)據(jù)資源中獲取實際的計算數(shù)據(jù)，并進行計算工作。采用本方案后最大限度地提升資源利用率和計算性能。