邊緣計算環(huán)境下用于分布式DNN訓練的梯度壓縮方法

基本信息

申請?zhí)?/td> CN202110766163.0 申請日 -
公開（公告）號 CN113467949A 公開（公告）日 2021-10-01
申請公布號 CN113467949A 申請公布日 2021-10-01
分類號 G06F9/50（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數;
發(fā)明人 毛鶯池;吳俊;聶華;黃建新;徐淑芳;屠子健;戚榮志;郭宏樂 申請（專利權）人 中科可控信息產業(yè)有限公司
代理機構 南京樂羽知行專利代理事務所（普通合伙） 代理人 李玉平
地址 211100江蘇省南京市江寧開發(fā)區(qū)佛城西路8號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種邊緣計算環(huán)境下用于分布式DNN訓練的梯度壓縮方法，建立基于梯度數量的選擇標準，篩選滿足模型壓縮標準的梯度網絡層；根據梯度熵評估梯度重要性，自適應地選擇梯度稀疏化的閾值，基于靈活的閾值對梯度稀疏化壓縮；根據梯度殘差和動量矯正機制，累積并優(yōu)化梯度殘差，減少梯度稀疏造成訓練模型的性能損失；根據三元量化壓縮方案，量化稀疏后的梯度，得到稀疏三元張量；根據無損編碼技術，記錄傳遞張量中非零梯度的距離，并對其優(yōu)化編碼，輸出稀疏三元化梯度。本發(fā)明基于梯度數量和梯度熵的稀疏三元梯度壓縮算法，能自適應地壓縮分布式DNN訓練中梯度交換階段的梯度大小，有效地提高分布式DNN訓練的通信效率。