一種個(gè)性化聯(lián)邦學(xué)習(xí)權(quán)重壓縮方法

基本信息

申請?zhí)?/td> CN202210284196.6 申請日 -
公開（公告）號 CN114692897A 公開（公告）日 2022-07-01
申請公布號 CN114692897A 申請公布日 2022-07-01
分類號 G06N20/20（2019.01）I;G06N3/08（2006.01）I;G06N3/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 熊章銀;文世挺;呂龍進(jìn);葉朝偉;肖輝;龐超逸 申請（專利權(quán)）人 浙大寧波理工學(xué)院
代理機(jī)構(gòu) 寧波甬致專利代理有限公司 代理人 -
地址 315100浙江省寧波市鄞州高教園區(qū)錢湖南路1號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種個(gè)性化聯(lián)邦學(xué)習(xí)權(quán)重壓縮方法，將每個(gè)客戶端的神經(jīng)網(wǎng)絡(luò)模型分為全局共享層和個(gè)性化層，客戶端與服務(wù)器之間只傳輸全局共享層的權(quán)重，個(gè)性化層則在客戶端本地更新；同時(shí)采用在預(yù)熱訓(xùn)練和權(quán)重稀疏訓(xùn)練的基礎(chǔ)上增加權(quán)重累積的方法，預(yù)熱訓(xùn)練過程中不進(jìn)行權(quán)重壓縮，能夠提升神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率，權(quán)重稀疏是指每輪訓(xùn)練只傳輸大于預(yù)定義閾值的權(quán)重值；權(quán)重累積是指每輪訓(xùn)練都在本地累積上輪訓(xùn)練的權(quán)重值，讓小權(quán)重逐漸累積變大也有機(jī)會被傳輸，使得神經(jīng)網(wǎng)絡(luò)模型中較小的權(quán)重值也能全局更新，有效地提升權(quán)重壓縮的精度，降低精度損失，同時(shí)也減少了客戶端和服務(wù)器之間的傳輸?shù)臋?quán)重參數(shù)，降低了客戶端和服務(wù)器之間的通信代價(jià)。