一種分布式計(jì)算系統(tǒng)的任務(wù)調(diào)度方法

基本信息

申請(qǐng)?zhí)?/td> CN201210593388.1 申請(qǐng)日 -
公開（公告）號(hào) CN103078941B 公開（公告）日 2016-01-20
申請(qǐng)公布號(hào) CN103078941B 申請(qǐng)公布日 2016-01-20
分類號(hào) H04L29/08(2006.01)I 分類 電通信技術(shù);
發(fā)明人 岳洋;鈕毅 申請(qǐng)（專利權(quán)）人 中金數(shù)據(jù)集團(tuán)有限公司
代理機(jī)構(gòu) 北京三聚陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限公司 代理人 寇海俠
地址 100176 北京市大興區(qū)北京經(jīng)濟(jì)技術(shù)開發(fā)區(qū)博興八路1號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種分布式計(jì)算系統(tǒng)的任務(wù)調(diào)度方法及系統(tǒng)，其中所述方法包括如下步驟：①將分布式計(jì)算系統(tǒng)集群中節(jié)點(diǎn)設(shè)置主節(jié)點(diǎn)和工作節(jié)點(diǎn)；②主節(jié)點(diǎn)將輸入文件分成多個(gè)數(shù)據(jù)段；③主節(jié)點(diǎn)為工作節(jié)點(diǎn)分配數(shù)據(jù)段和任務(wù)，主節(jié)點(diǎn)從中提取出初始鍵值對(duì)并處理生成中間鍵值對(duì)，存儲(chǔ)至公共區(qū)域；④主節(jié)點(diǎn)判斷所有數(shù)據(jù)段的處理是否完成，若是則執(zhí)行⑤，若否則執(zhí)行③；⑤將中間鍵值對(duì)分成多個(gè)區(qū)并排序；⑥最后完成數(shù)據(jù)段處理的工作節(jié)點(diǎn)對(duì)中間鍵值對(duì)進(jìn)行處理，將最終結(jié)果存儲(chǔ)到所屬區(qū)；⑦返回。本發(fā)明所述的分布式計(jì)算系統(tǒng)的任務(wù)調(diào)度方法及系統(tǒng)，負(fù)責(zé)分配任務(wù)的主節(jié)點(diǎn)僅負(fù)責(zé)分配任務(wù)，最后匯總計(jì)算處理結(jié)果由工作節(jié)點(diǎn)來(lái)完成，從而減輕在化簡(jiǎn)階段的系統(tǒng)瓶頸問(wèn)題。