面向異構(gòu)MapReduce集群的低時延Map和Reduce聯(lián)合調(diào)度方法

基本信息

申請?zhí)?/td> CN202110020740.1 申請日 -
公開（公告）號 CN113162965A 公開（公告）日 2021-07-23
申請公布號 CN113162965A 申請公布日 2021-07-23
分類號 H04L29/08（2006.01）I 分類 電通信技術(shù);
發(fā)明人 王瑋;陳雨賀;朱立洲;張朝陽 申請（專利權(quán)）人 寧波江宸智能裝備股份有限公司
代理機構(gòu) 杭州求是專利事務(wù)所有限公司 代理人 林松海
地址 310058浙江省杭州市西湖區(qū)余杭塘路866號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種面向異構(gòu)MapReduce集群的低時延Map和Reduce聯(lián)合調(diào)度方法，步驟為：客戶端提交MapReduce作業(yè)到異構(gòu)集群，控制中心將作業(yè)分給各服務(wù)器并完成分布式計算以使得作業(yè)執(zhí)行總時延最小。其中，MapReduce框架在Map階段和Reduce階段均存在計算任務(wù)分配，按照所有服務(wù)器能同時完成計算的原則，分別固定其中一處的任務(wù)分配來優(yōu)化另一處，對兩個任務(wù)分配向量進行迭代求解直至所有服務(wù)器的執(zhí)行時延均相等，得到兩個階段最優(yōu)的計算任務(wù)分配策略，且作業(yè)完成的總時延最小。本發(fā)明可以用于異構(gòu)集群下MapReduce分布式計算中，以獲得低時延的有益效果。