一種數(shù)據(jù)處理方法以及數(shù)據(jù)處理裝置

基本信息

申請?zhí)?/td> CN201810968716.9 申請日 -
公開（公告）號 CN109165097B 公開（公告）日 2021-06-08
申請公布號 CN109165097B 申請公布日 2021-06-08
分類號 G06F9/50 分類 計算；推算；計數(shù);
發(fā)明人 王濤 申請（專利權）人 北京九狐時代智能科技有限公司
代理機構 北京超凡志成知識產(chǎn)權代理事務所（普通合伙） 代理人 蘇勝
地址 100000 北京市朝陽區(qū)阜通東大街1號院5號樓2單元324002
法律狀態(tài) -

摘要

摘要 本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法以及數(shù)據(jù)處理裝置，包括：將待處理數(shù)據(jù)分組，生成多個數(shù)據(jù)組；針對每個數(shù)據(jù)組，將該數(shù)據(jù)組中的所有待處理數(shù)據(jù)讀入到內(nèi)存中，并基于該數(shù)據(jù)組中的所有數(shù)據(jù)執(zhí)行數(shù)據(jù)組內(nèi)的雙數(shù)據(jù)任務，待組內(nèi)雙數(shù)據(jù)任務完成后釋放該組數(shù)據(jù)所占據(jù)內(nèi)存；以及，針對每兩個數(shù)據(jù)組，將該兩個數(shù)據(jù)組的數(shù)據(jù)讀入到內(nèi)存中，并基于該兩個數(shù)據(jù)組中的數(shù)據(jù)執(zhí)行組間的雙數(shù)據(jù)任務，待組間所有雙數(shù)據(jù)任務完成后釋放數(shù)據(jù)所占據(jù)內(nèi)存。本申請算法通過增加I/O次數(shù)，減少單次讀入內(nèi)存的數(shù)據(jù)量，避免由于內(nèi)存不足或者任務量過大造成系統(tǒng)或軟件崩潰，同時在保證效率基本不變的前提下，保證了任務完成的完整性。