基于GPU排序的MapReduce優(yōu)化方法

基本信息

申請?zhí)?/td> CN201710026869.7 申請日 -
公開（公告）號 CN106802787B 公開（公告）日 2019-08-02
申請公布號 CN106802787B 申請公布日 2019-08-02
分類號 G06F9/38（2006.01）I; G06F9/50（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 李鵬飛; 丁有偉; 孫杰 申請（專利權）人 有棵樹科技股份有限公司
代理機構 南京中盟科創(chuàng)知識產(chǎn)權代理事務所（特殊普通合伙） 代理人 天澤信息產(chǎn)業(yè)股份有限公司
地址 210019 江蘇省南京市建鄴區(qū)云龍山路80號
法律狀態(tài) -

摘要

摘要 本發(fā)明提出了一種基于GPU排序的MapReduce優(yōu)化方法，其中MapReduce包含Map階段、Shuffle階段、以及Reduce階段，Map階段包含Spill過程和Merge過程，Reduce階段包含Merge過程，其中，在Map階段的Spill過程中采用基于GPU的快速排序流程，在Map階段的Merge過程中和Reduce階段的Merge過程中采用基于GPU的歸并排序流程。通過以基于GPU的快速排序和歸并排序算法替代傳統(tǒng)的基于CPU的快速排序、歸并排序和堆排序算法，提高中間數(shù)據(jù)處理速度，進而提升MapReduce的性能。