模型訓(xùn)練方法及裝置、存儲介質(zhì)、計算設(shè)備

基本信息

申請?zhí)?/td> CN202011415641.5 申請日 -
公開（公告）號 CN112784677A 公開（公告）日 2021-05-11
申請公布號 CN112784677A 申請公布日 2021-05-11
分類號 G06K9/00;G06K9/62;G06N3/08;G06N3/04 分類 計算；推算；計數(shù);
發(fā)明人 段魁;蔡濤;陳新澤;黃冠;都大龍 申請（專利權(quán)）人 上海芯翌智能科技有限公司
代理機(jī)構(gòu) 北京集佳知識產(chǎn)權(quán)代理有限公司 代理人 張振軍
地址 200434 上海市虹口區(qū)水電路1388號10層
法律狀態(tài) -

摘要

摘要 一種模型訓(xùn)練方法及裝置、存儲介質(zhì)、計算設(shè)備，模型訓(xùn)練方法包括：將訓(xùn)練數(shù)據(jù)輸入至構(gòu)建好的基準(zhǔn)模型和老師模型，基準(zhǔn)模型的網(wǎng)絡(luò)層數(shù)小于老師模型的網(wǎng)絡(luò)層數(shù)；獲取基準(zhǔn)模型針對訓(xùn)練數(shù)據(jù)的第一輸出結(jié)果和老師模型針對訓(xùn)練數(shù)據(jù)的第二輸出結(jié)果；基于每一類別的第一分類概率生成非該類別的第三分類概率，以及基于每一類別第二分類概率生成非該類別的第四分類概率；利用每一類別下的第一概率分布和第二概率分布計算KL散度，以及計算基準(zhǔn)模型自身的誤差；利用KL散度以及基準(zhǔn)模型自身的誤差在基準(zhǔn)模型中進(jìn)行反向傳播，以用于調(diào)整基準(zhǔn)模型的網(wǎng)絡(luò)參數(shù)。本發(fā)明技術(shù)方案能夠提升模型分類效果的準(zhǔn)確性和實(shí)時性。