基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201910250517.9 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN110086855B | 公開（公告）日 | 2021-11-05 |
| 申請(qǐng)公布號(hào) | CN110086855B | 申請(qǐng)公布日 | 2021-11-05 |
| 分類號(hào) | H04L29/08（2006.01）I;G06N3/00（2006.01）I | 分類 | 電通信技術(shù); |
| 發(fā)明人 | 陳華;李凱 | 申請(qǐng)（專利權(quán)）人 | 江蘇開拓信息與系統(tǒng)有限公司 |
| 代理機(jī)構(gòu) | 無錫市匯誠永信專利代理事務(wù)所（普通合伙） | 代理人 | 王闖;葛莉華 |
| 地址 | 214000江蘇省無錫市濱湖區(qū)蠡湖商務(wù)園9號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法，其特征在于，客戶端向任務(wù)調(diào)度控制器發(fā)送計(jì)算請(qǐng)求；集群資源智能控制器通過kafka消息組件實(shí)時(shí)收集各spark計(jì)算結(jié)點(diǎn)上的工作負(fù)載和在運(yùn)行時(shí)加載流量信息并進(jìn)行數(shù)據(jù)的匯聚；集群資源智能控制器通過基于蟻群算法的調(diào)度計(jì)算方法對(duì)各spark計(jì)算結(jié)點(diǎn)的資源進(jìn)行計(jì)算；任務(wù)調(diào)度控制器調(diào)取集群資源智能控制器計(jì)算之后的任務(wù)資源信息；任務(wù)調(diào)度控制器按新的計(jì)算需求執(zhí)行的資源與運(yùn)行權(quán)重，與各個(gè)spark計(jì)算結(jié)點(diǎn)進(jìn)行通信，把新計(jì)算任務(wù)加載到合適的spark計(jì)算結(jié)點(diǎn)中；spark計(jì)算結(jié)點(diǎn)獲取計(jì)算任務(wù)后，從Hadoop數(shù)據(jù)資源中獲取實(shí)際的計(jì)算數(shù)據(jù)，并進(jìn)行計(jì)算工作。采用本方案后最大限度地提升資源利用率和計(jì)算性能。 |
