一種基于版本差異的流水線并行訓練節(jié)點權重分配方法

基本信息

申請?zhí)?/td> CN202110766607.0 申請日 -
公開（公告）號 CN113469341A 公開（公告）日 2021-10-01
申請公布號 CN113469341A 申請公布日 2021-10-01
分類號 G06N3/04（2006.01）I;G06N3/063（2006.01）I;G06N3/08（2006.01）I;G06F9/38（2006.01）I 分類 計算；推算；計數;
發(fā)明人 毛鶯池;屠子健;聶華;黃建新;徐淑芳;吳俊;戚榮志 申請（專利權）人 中科可控信息產業(yè)有限公司
代理機構 南京樂羽知行專利代理事務所（普通合伙） 代理人 李玉平
地址 211100江蘇省南京市江寧開發(fā)區(qū)佛城西路8號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于版本差異的流水線并行訓練節(jié)點權重分配方法，載入初始化深度學習模型；構建流水線并行訓練方案，采用異步參數更新方法，并發(fā)執(zhí)行不同批次的訓練，記錄訓練批次在單位流水線執(zhí)行時間內完成前向和后向傳遞過程。利用最新的訓練節(jié)點權重版本，預測出未來訓練過程的節(jié)點權重，根據節(jié)點權重預測進行該批次版本差異計算。待該節(jié)點完成所有批次的版本差異計算，則完成該節(jié)點的預測權重更新。計算了所有節(jié)點的版本差異，即完成流水線并行訓練節(jié)點權重分配；并將其部署到異構計算節(jié)點中，得到針對擬訓練目標網絡的流水線并行訓練節(jié)點權重分配方案。本發(fā)明方法使節(jié)點權重預測更加準確。