基于溫習(xí)機(jī)制的知識(shí)蒸餾方法、裝置、計(jì)算機(jī)設(shè)備和介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110495734.1 申請(qǐng)日 -
公開（公告）號(hào) CN113240120A 公開（公告）日 2021-08-10
申請(qǐng)公布號(hào) CN113240120A 申請(qǐng)公布日 2021-08-10
分類號(hào) G06N5/02（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06K9/00（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳鵬光;劉樞;賈佳亞;沈小勇;呂江波 申請(qǐng)（專利權(quán)）人 深圳思謀信息科技有限公司
代理機(jī)構(gòu) 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 代理人 蔡抒楓
地址 518051廣東省深圳市南山區(qū)高新南九道45號(hào)三航科技大廈22樓
法律狀態(tài) -

摘要

摘要 本申請(qǐng)涉及一種基于溫習(xí)機(jī)制的知識(shí)蒸餾方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。本申請(qǐng)能夠?qū)⒔處熅W(wǎng)絡(luò)不同階段之間的信息都能傳遞至學(xué)生網(wǎng)絡(luò)，進(jìn)而提高知識(shí)蒸餾的效果，提高分類準(zhǔn)確度。該方法包括：獲取訓(xùn)練數(shù)據(jù)；將訓(xùn)練數(shù)據(jù)輸入至教師網(wǎng)絡(luò)，得到教師網(wǎng)絡(luò)的各中間層的輸出特征，以及將訓(xùn)練數(shù)據(jù)輸入至學(xué)生網(wǎng)絡(luò)，得到學(xué)生網(wǎng)絡(luò)輸出的學(xué)生網(wǎng)絡(luò)預(yù)測(cè)結(jié)果和學(xué)生網(wǎng)絡(luò)的各中間層的輸出特征；根據(jù)學(xué)生網(wǎng)絡(luò)中各中間層的輸出特征與教師網(wǎng)絡(luò)中各中間層的輸出特征的距離的累加確定蒸餾損失部分；根據(jù)學(xué)生網(wǎng)絡(luò)預(yù)測(cè)結(jié)果確定基礎(chǔ)損失部分；基于蒸餾損失部分和基礎(chǔ)損失部分，對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練。