一種分布式訓(xùn)練中參數(shù)更新方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN201910864527.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN110633798A | 公開(kāi)（公告）日 | 2019-12-31 |
| 申請(qǐng)公布號(hào) | CN110633798A | 申請(qǐng)公布日 | 2019-12-31 |
| 分類(lèi)號(hào) | G06N3/08（2006.01） | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王洪偉; 李鑫; 李長(zhǎng)亮 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 成都金山數(shù)字娛樂(lè)科技有限公司 |
| 代理機(jī)構(gòu) | 北京智信禾專(zhuān)利代理有限公司 | 代理人 | 北京金山數(shù)字娛樂(lè)科技有限公司; 成都金山數(shù)字娛樂(lè)科技有限公司 |
| 地址 | 100085 北京市海淀區(qū)小營(yíng)西路33號(hào)金山軟件大廈2層西區(qū) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本申請(qǐng)?zhí)峁┮环N分布式訓(xùn)練中參數(shù)更新方法及裝置，其中所述分布式訓(xùn)練中參數(shù)更新方法包括：接收分布式訓(xùn)練集群中的每個(gè)訓(xùn)練節(jié)點(diǎn)傳遞的梯度；根據(jù)每個(gè)訓(xùn)練節(jié)點(diǎn)傳遞的梯度計(jì)算訓(xùn)練模型的損失值并更新所述訓(xùn)練模型的模型參數(shù)；根據(jù)所述損失值確定模型訓(xùn)練的訓(xùn)練階段；根據(jù)所述訓(xùn)練階段對(duì)所述模型參數(shù)進(jìn)行壓縮，獲得壓縮模型參數(shù)；將所述壓縮模型參數(shù)同步至所述分布式訓(xùn)練集群的每個(gè)訓(xùn)練節(jié)點(diǎn)，更新每個(gè)訓(xùn)練節(jié)點(diǎn)中的模型參數(shù)。本申請(qǐng)?zhí)峁┑姆植际接?xùn)練中參數(shù)更新方法自適應(yīng)地減少了參數(shù)同步時(shí)通信量的大小，即保證了模型參數(shù)的同步效率，又保證了訓(xùn)練結(jié)果的精度，在進(jìn)行分布式訓(xùn)練時(shí)，提高了模型訓(xùn)練的速度。 |
