一種基于多助教模型知識(shí)蒸餾訓(xùn)練的文本分類方法

基本信息

申請(qǐng)?zhí)?/td> CN202210329290.9 申請(qǐng)日 -
公開（公告）號(hào) CN114676256A 公開（公告）日 2022-06-28
申請(qǐng)公布號(hào) CN114676256A 申請(qǐng)公布日 2022-06-28
分類號(hào) G06F16/35（2019.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 高尚兵;張駿強(qiáng);蘇睿;王媛媛;張海艷;馬甲林;張正偉;朱全銀 申請(qǐng)（專利權(quán)）人 淮陰工學(xué)院
代理機(jī)構(gòu) 南京經(jīng)緯專利商標(biāo)代理有限公司 代理人 -
地址 210000江蘇省淮安市北京北路89號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明專利涉及一種基于多助教模型知識(shí)蒸餾訓(xùn)練的文本分類方法，首先根據(jù)樣本數(shù)據(jù)，分別針對(duì)主教師模型、副教師模型進(jìn)行訓(xùn)練，接著根據(jù)樣本數(shù)據(jù)，結(jié)合副教師模型與主教師模型對(duì)助教模型的聯(lián)合漸進(jìn)蒸餾，同時(shí)副教師模型與助教模型之間進(jìn)行相互學(xué)習(xí)；再通過對(duì)副教師模型與助教模型聯(lián)合漸進(jìn)蒸餾得到第一學(xué)生模型，并繼續(xù)對(duì)第一學(xué)生模型與副教師模型進(jìn)行聯(lián)合蒸餾，得到第二學(xué)生模型與第三學(xué)生模型，并相互學(xué)習(xí)；最后得到文本分類精度高的第一學(xué)生模型、推理速度快的第三學(xué)生模型、以及處于兩者之間水平的第二學(xué)生模型；在實(shí)際應(yīng)用中，將文本輸入相應(yīng)學(xué)生模型，得到相應(yīng)類型下的文本分類結(jié)果，有效加快了模型推理速度，提高學(xué)生模型文本分類準(zhǔn)確度。