聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202010651671.X 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN111950740A 公開(kāi)（公告）日 2020-11-17
申請(qǐng)公布號(hào) CN111950740A 申請(qǐng)公布日 2020-11-17
分類號(hào) G06N20/20 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 夏家駿;魯穎;張珣;沈敏均;陳楚元;張佳辰 申請(qǐng)（專利權(quán)）人 光之樹(shù)（北京）科技有限公司
代理機(jī)構(gòu) 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 光之樹(shù)（北京）科技有限公司
地址 100125 北京市朝陽(yáng)區(qū)光明大廈B座0307
法律狀態(tài) -

摘要

摘要 本申請(qǐng)公開(kāi)了一種聯(lián)邦學(xué)習(xí)模型的訓(xùn)練方法及裝置，執(zhí)行主體為目標(biāo)節(jié)點(diǎn)，該方法包括：在聯(lián)邦學(xué)習(xí)模型的訓(xùn)練的過(guò)程中，獲取處于掉線狀態(tài)的第一訓(xùn)練節(jié)點(diǎn)，從本地緩存中獲取第一訓(xùn)練節(jié)點(diǎn)的替代中間結(jié)果秘密份額；根據(jù)替代中間結(jié)果秘密份額，獲取第一訓(xùn)練節(jié)點(diǎn)在目標(biāo)節(jié)點(diǎn)上的第一損失函數(shù)秘密份額；接收處于在線狀態(tài)的剩余參與節(jié)點(diǎn)發(fā)送的第二中間結(jié)果秘密份額，并根據(jù)第二中間結(jié)果秘密份額，獲取剩余參與節(jié)點(diǎn)在目標(biāo)節(jié)點(diǎn)上的第二損失函數(shù)秘密份額；根據(jù)第一梯度秘密份額、第二梯度秘密份額和目標(biāo)節(jié)點(diǎn)自身的損失函數(shù)，獲取聯(lián)邦學(xué)習(xí)模型的損失函數(shù)。由此，若訓(xùn)練節(jié)點(diǎn)掉線，目標(biāo)節(jié)點(diǎn)從本地緩存中獲取替代中間結(jié)果秘密份額繼續(xù)訓(xùn)練，減小節(jié)點(diǎn)掉線導(dǎo)致的影響。