一種個性化聯(lián)邦學習權(quán)重壓縮方法

基本信息

申請?zhí)?/td> CN202210284196.6 申請日 -
公開（公告）號 CN114692897A 公開（公告）日 2022-07-01
申請公布號 CN114692897A 申請公布日 2022-07-01
分類號 G06N20/20（2019.01）I;G06N3/08（2006.01）I;G06N3/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 熊章銀;文世挺;呂龍進;葉朝偉;肖輝;龐超逸 申請（專利權(quán)）人 浙大寧波理工學院
代理機構(gòu) 寧波甬致專利代理有限公司 代理人 -
地址 315100浙江省寧波市鄞州高教園區(qū)錢湖南路1號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種個性化聯(lián)邦學習權(quán)重壓縮方法，將每個客戶端的神經(jīng)網(wǎng)絡模型分為全局共享層和個性化層，客戶端與服務器之間只傳輸全局共享層的權(quán)重，個性化層則在客戶端本地更新；同時采用在預熱訓練和權(quán)重稀疏訓練的基礎上增加權(quán)重累積的方法，預熱訓練過程中不進行權(quán)重壓縮，能夠提升神經(jīng)網(wǎng)絡模型的準確率，權(quán)重稀疏是指每輪訓練只傳輸大于預定義閾值的權(quán)重值；權(quán)重累積是指每輪訓練都在本地累積上輪訓練的權(quán)重值，讓小權(quán)重逐漸累積變大也有機會被傳輸，使得神經(jīng)網(wǎng)絡模型中較小的權(quán)重值也能全局更新，有效地提升權(quán)重壓縮的精度，降低精度損失，同時也減少了客戶端和服務器之間的傳輸?shù)臋?quán)重參數(shù)，降低了客戶端和服務器之間的通信代價。