一種模型蒸餾訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202111186029.X 申請(qǐng)日 -
公開（公告）號(hào) CN113935234A 公開（公告）日 2022-01-14
申請(qǐng)公布號(hào) CN113935234A 申請(qǐng)公布日 2022-01-14
分類號(hào) G06F30/27（2020.01）I;G06K9/62（2022.01）I;G06N20/00（2019.01）I;G06V10/764（2022.01）I;G06V10/774（2022.01）I;G06V10/82（2022.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 胡加明;李健銓;吳相博;劉小康 申請(qǐng)（專利權(quán)）人 鼎富智能科技有限公司
代理機(jī)構(gòu) 北京超凡宏宇專利代理事務(wù)所（特殊普通合伙） 代理人 唐正瑜
地址 230000安徽省合肥市高新區(qū)習(xí)友路3333號(hào)A1樓19層-B區(qū)
法律狀態(tài) -

摘要

摘要 本申請(qǐng)?zhí)峁┮环N模型蒸餾訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用于改善對(duì)長尾類別的樣本識(shí)別正確率提高十分有限的問題。該方法包括：獲取包括長尾類別的訓(xùn)練數(shù)據(jù)集，并使用多種數(shù)據(jù)增強(qiáng)手段對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，獲得多個(gè)數(shù)據(jù)集合；使用多個(gè)數(shù)據(jù)集合分別對(duì)多個(gè)老師模型進(jìn)行不同種類的損失優(yōu)化訓(xùn)練，獲得訓(xùn)練后的多個(gè)老師模型，一個(gè)老師模型是使用一個(gè)數(shù)據(jù)集合進(jìn)行一個(gè)種類的損失優(yōu)化訓(xùn)練獲得的；根據(jù)準(zhǔn)確率從多個(gè)老師模型中選擇出預(yù)設(shè)數(shù)量的老師模型；獲取預(yù)設(shè)數(shù)量的學(xué)生模型，使用老師模型對(duì)學(xué)生模型進(jìn)行蒸餾訓(xùn)練，獲得預(yù)設(shè)數(shù)量蒸餾后的學(xué)生模型；從預(yù)設(shè)數(shù)量蒸餾后的學(xué)生模型中篩選出準(zhǔn)確率最高的學(xué)生模型。