基于梯度選擇和自適應(yīng)學(xué)習(xí)率的加權(quán)K異步聯(lián)邦學(xué)習(xí)方法、系統(tǒng)及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202210190627.2 申請(qǐng)日 -
公開（公告）號(hào) CN114565103A 公開（公告）日 2022-05-31
申請(qǐng)公布號(hào) CN114565103A 申請(qǐng)公布日 2022-05-31
分類號(hào) G06N20/00（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊樹森;任雪斌;趙鵬;周子昊;李亞男;吳帥君 申請(qǐng)（專利權(quán)）人 杭州卷積云科技有限公司
代理機(jī)構(gòu) 西安通大專利代理有限責(zé)任公司 代理人 -
地址 310000浙江省杭州市余杭區(qū)倉(cāng)前街道良睦路1288號(hào)6幢302-1室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于梯度選擇和自適應(yīng)學(xué)習(xí)率的加權(quán)K異步聯(lián)邦學(xué)習(xí)方法、系統(tǒng)及裝置，包括：云端初始化模型和學(xué)習(xí)率參數(shù)并廣播當(dāng)前的迭代次數(shù)和當(dāng)前的全局模型。學(xué)習(xí)者接收廣播的模型和迭代次數(shù)進(jìn)行本地訓(xùn)練，當(dāng)完成本地訓(xùn)練后將更新上傳至云端。云端接收K個(gè)更新后，升級(jí)模型參數(shù)。通過累積歷史梯度緩解異質(zhì)性數(shù)據(jù)的影響，并基于延時(shí)程度聚合K個(gè)梯度緩解延時(shí)性的影響，并估計(jì)全局無偏梯度；然后選擇與估計(jì)梯度下降方向一致的梯度，賦予權(quán)重；進(jìn)一步裁剪延時(shí)梯度，并調(diào)整學(xué)習(xí)速率，更新并廣播模型參數(shù)和迭代次數(shù)。重復(fù)云端和學(xué)習(xí)者的交互，直至模型的測(cè)試損失小于閾值，模型收斂。本發(fā)明根據(jù)延時(shí)程度自適應(yīng)調(diào)整學(xué)習(xí)速率，提高了模型的預(yù)測(cè)精度。