一種增量式數(shù)據(jù)并行處理裝置與方法

基本信息

申請?zhí)?/td> CN201710957385.4 申請日 -
公開（公告）號 CN107807845A 公開（公告）日 2018-03-16
申請公布號 CN107807845A 申請公布日 2018-03-16
分類號 G06F9/46 分類 計算；推算；計數(shù);
發(fā)明人 崔鵬飛;田春華;蔣綿;劉家揚;景兆祥 申請（專利權(quán)）人 四川昆侖智匯數(shù)據(jù)科技有限公司
代理機構(gòu) 北京力量專利代理事務(wù)所（特殊普通合伙） 代理人 王鴻遠
地址 100089 北京市海淀區(qū)廠洼中街66號1號樓一層南部110室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種增量式數(shù)據(jù)并行處理裝置及方法，該方法包括：分片模塊，用于對源數(shù)據(jù)分片，得到數(shù)據(jù)塊；分片編碼模塊，用于對數(shù)據(jù)塊編碼，得到數(shù)據(jù)塊編碼；并行化執(zhí)行模塊，用于對編碼數(shù)據(jù)塊和需要執(zhí)行的任務(wù)信息啟動并行計算任務(wù)，得到每個計算任務(wù)的執(zhí)行結(jié)果；執(zhí)行記錄模塊，用于將執(zhí)行結(jié)果記錄在執(zhí)行日志中；智能跳過模塊，用于根據(jù)執(zhí)行日志智能判定需要執(zhí)行的任務(wù)信息，并將該信息發(fā)送給并行化執(zhí)行模塊；修正判斷模塊，用于根據(jù)執(zhí)行結(jié)果判斷是否有失敗的計算任務(wù)，若有，向修正程序模塊發(fā)送指令；修正程序模塊，用于根據(jù)執(zhí)行失敗的計算任務(wù)信息修正程序。本發(fā)明的增量式數(shù)據(jù)并行處理裝置與方法能夠跳過成功的計算任務(wù)，只執(zhí)行失敗的計算任務(wù)。