一種面向少樣本領(lǐng)域的輕量級(jí)半監(jiān)督模型框架

基本信息

申請(qǐng)?zhí)?/td> CN202111166569.1 申請(qǐng)日 -
公開(公告)號(hào) CN113920395A 公開(公告)日 2022-01-11
申請(qǐng)公布號(hào) CN113920395A 申請(qǐng)公布日 2022-01-11
分類號(hào) G06V10/774(2022.01)I;G06N3/04(2006.01)I;G06F16/35(2019.01)I 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 張夢(mèng)超;付志兵;李漁;費(fèi)斌杰 申請(qǐng)(專利權(quán))人 北京熵簡(jiǎn)科技有限公司
代理機(jī)構(gòu) 上海劍秋知識(shí)產(chǎn)權(quán)代理有限公司 代理人 徐浩俊
地址 100085北京市海淀區(qū)上地三街9號(hào)D座3層D408
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種面向少樣本領(lǐng)域的輕量級(jí)半監(jiān)督模型框架,涉及深度學(xué)習(xí)自然語言處理技術(shù)領(lǐng)域,包括:作為預(yù)訓(xùn)練的激勵(lì)網(wǎng)絡(luò);作為訓(xùn)練的目標(biāo)網(wǎng)絡(luò),所述目標(biāo)網(wǎng)絡(luò)連接于所述激勵(lì)網(wǎng)絡(luò),并與所述激勵(lì)網(wǎng)絡(luò)完成若干特征蒸餾;其中,所述激勵(lì)網(wǎng)絡(luò)利用一致性正則化和數(shù)據(jù)增強(qiáng)技術(shù)從無監(jiān)督數(shù)據(jù)和監(jiān)督數(shù)據(jù)中挖掘信息和特征,為后續(xù)的所述目標(biāo)網(wǎng)絡(luò)的訓(xùn)練提供多級(jí)正則化約束。本發(fā)明提供的上述框架采用半監(jiān)督的學(xué)習(xí)方法,在文本分類中,只需要少量的標(biāo)注數(shù)據(jù),也能達(dá)到很好的效果;本發(fā)明提供的上述框架采用激勵(lì)網(wǎng)絡(luò)來引導(dǎo)目標(biāo)網(wǎng)絡(luò)的兩階段訓(xùn)練方法,因?yàn)樽罱K的目標(biāo)網(wǎng)絡(luò)是輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò),因此,參數(shù)量更小,運(yùn)行時(shí)所需資源更少,速度更快。