基于空間注意力機(jī)制的自適應(yīng)知識蒸餾方法
基本信息
| 申請?zhí)?/td> | CN202011165181.5 | 申請日 | - |
| 公開（公告）號 | CN112464981A | 公開（公告）日 | 2021-03-09 |
| 申請公布號 | CN112464981A | 申請公布日 | 2021-03-09 |
| 分類號 | G06K9/62(2006.01)I;G06N3/08(2006.01)I;G06K9/00(2006.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王金橋;王童;朱優(yōu)松 | 申請（專利權(quán)）人 | 中科視語（句容）科技有限公司 |
| 代理機(jī)構(gòu) | 南京申云知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 蘇秋麗;王云 |
| 地址 | 212400江蘇省鎮(zhèn)江市句容市開發(fā)區(qū)科技新城科技大道1號省高創(chuàng)11幢 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于空間注意力機(jī)制的自適應(yīng)知識蒸餾方法，屬于計(jì)算機(jī)視覺和模式識別技術(shù)領(lǐng)域。該方法利用每個樣本的分類損失值評估樣本的難易程度，若分類損失值大于閾值，則該樣本較難，給予該樣本更多關(guān)注；若分類損失值小于閾值，則忽略該樣本；然后，使用單調(diào)遞增函數(shù)為每一個較難的樣本賦予蒸餾權(quán)重值；將樣本的蒸餾權(quán)重值映射到特征圖對應(yīng)的空間位置，得到和特征圖大小相同的注意力圖；最后在進(jìn)行網(wǎng)絡(luò)蒸餾時利用注意力圖對特征圖的每個位置進(jìn)行加權(quán)，指導(dǎo)學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)過程。該方法基于空間注意力機(jī)制，能夠引導(dǎo)學(xué)生網(wǎng)絡(luò)關(guān)注比較困難的樣本的特征學(xué)習(xí)，從而提升學(xué)生網(wǎng)絡(luò)的性能。?? |
