一種數(shù)據(jù)處理方法以及數(shù)據(jù)處理裝置

基本信息

申請(qǐng)?zhí)?/td> CN201810968716.9 申請(qǐng)日 -
公開（公告）號(hào) CN109165097A 公開（公告）日 2021-06-08
申請(qǐng)公布號(hào) CN109165097A 申請(qǐng)公布日 2021-06-08
分類號(hào) G06F9/50 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王濤 申請(qǐng)（專利權(quán)）人 北京九狐時(shí)代智能科技有限公司
代理機(jī)構(gòu) 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 蘇勝
地址 100000 北京市朝陽區(qū)阜通東大街1號(hào)院5號(hào)樓2單元324002
法律狀態(tài) -

摘要

摘要 本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法以及數(shù)據(jù)處理裝置，包括：將待處理數(shù)據(jù)分組，生成多個(gè)數(shù)據(jù)組；針對(duì)每個(gè)數(shù)據(jù)組，將該數(shù)據(jù)組中的所有待處理數(shù)據(jù)讀入到內(nèi)存中，并基于該數(shù)據(jù)組中的所有數(shù)據(jù)執(zhí)行數(shù)據(jù)組內(nèi)的雙數(shù)據(jù)任務(wù)，待組內(nèi)雙數(shù)據(jù)任務(wù)完成后釋放該組數(shù)據(jù)所占據(jù)內(nèi)存；以及，針對(duì)每?jī)蓚€(gè)數(shù)據(jù)組，將該兩個(gè)數(shù)據(jù)組的數(shù)據(jù)讀入到內(nèi)存中，并基于該兩個(gè)數(shù)據(jù)組中的數(shù)據(jù)執(zhí)行組間的雙數(shù)據(jù)任務(wù)，待組間所有雙數(shù)據(jù)任務(wù)完成后釋放數(shù)據(jù)所占據(jù)內(nèi)存。本申請(qǐng)算法通過增加I/O次數(shù)，減少單次讀入內(nèi)存的數(shù)據(jù)量，避免由于內(nèi)存不足或者任務(wù)量過大造成系統(tǒng)或軟件崩潰，同時(shí)在保證效率基本不變的前提下，保證了任務(wù)完成的完整性。