一種基于知識(shí)蒸餾的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法

基本信息

申請(qǐng)?zhí)?/td> CN201810530304.7 申請(qǐng)日 -
公開（公告）號(hào) CN108764462A 公開（公告）日 2018-11-06
申請(qǐng)公布號(hào) CN108764462A 申請(qǐng)公布日 2018-11-06
分類號(hào) G06N3/04;G06N3/08 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王標(biāo);隆剛;史方 申請(qǐng)（專利權(quán)）人 成都視觀天下科技有限公司
代理機(jī)構(gòu) 成都九鼎天元知識(shí)產(chǎn)權(quán)代理有限公司 代理人 鄧世燕
地址 610041 四川省成都市高新區(qū)天府大道北段1700號(hào)1棟3單元10層1009號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于知識(shí)蒸餾的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，從FPN的特征金字塔部分的附加結(jié)構(gòu)中選取位置建立橋接；在教師FPN網(wǎng)絡(luò)T與學(xué)生FPN網(wǎng)絡(luò)S之間的橋接位置建立多個(gè)特征適配層；采用層次加權(quán)的多尺度損失函數(shù)用作網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)。本發(fā)明的積極效果是：一方面，基于本發(fā)明的知識(shí)蒸餾設(shè)計(jì)，能夠?qū)?fù)雜的教師FPN網(wǎng)絡(luò)進(jìn)行壓縮，得到一個(gè)規(guī)模更小、計(jì)算更快的學(xué)生FPN網(wǎng)絡(luò)。較之于現(xiàn)有基于CNN的目標(biāo)檢測(cè)技術(shù)直接使用FPN，更便于進(jìn)行邊緣側(cè)計(jì)算的部署；另一方面考慮知識(shí)蒸餾的方式，較之現(xiàn)有的知識(shí)蒸餾技術(shù)，本發(fā)明能夠更好的適配多尺度目標(biāo)檢測(cè)網(wǎng)絡(luò)FPN，能更好的訓(xùn)練出高質(zhì)量的學(xué)生FPN網(wǎng)絡(luò)。