基于mapreduce框架的超大規(guī)模稀疏矩陣乘法運(yùn)算的方法

基本信息

申請(qǐng)?zhí)?/td> CN201410845357.X 申請(qǐng)日 -
公開（公告）號(hào) CN104462023B 公開（公告）日 2017-07-21
申請(qǐng)公布號(hào) CN104462023B 申請(qǐng)公布日 2017-07-21
分類號(hào) G06F17/16(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 蔣偉;姚鍵;潘柏宇;盧述奇 申請(qǐng)（專利權(quán)）人 阿里巴巴（北京）軟件服務(wù)有限公司
代理機(jī)構(gòu) 北京市天璽沐澤專利代理事務(wù)所（普通合伙） 代理人 合一網(wǎng)絡(luò)技術(shù)（北京）有限公司;阿里巴巴（中國(guó)）有限公司
地址 100080 北京市海淀區(qū)海淀大街8號(hào)中鋼國(guó)際廣場(chǎng)A座5層A、C區(qū)
法律狀態(tài) -

摘要

摘要 一種基于mapreduce框架下的大規(guī)模稀疏矩陣乘法運(yùn)算的方法，所述算法由2個(gè)mapreduce的job完成，對(duì)矩陣A和矩陣B的元素進(jìn)行正確的分組，使得矩陣A的第i列的元素與矩陣B的第k行的元素進(jìn)入到同一個(gè)reduce的group中，并對(duì)該group中每一個(gè)來(lái)自A的元素和來(lái)自B的元素做一次乘積。本發(fā)明只需要2個(gè)mapreduce操作就可以完成超大規(guī)模系數(shù)矩陣的乘法，減少算法的運(yùn)行步驟和時(shí)間，本發(fā)明降低了對(duì)機(jī)器內(nèi)存的要求，只需要機(jī)器能用hashmap存儲(chǔ)矩陣A的每一行即可進(jìn)行。