一種面向少樣本領(lǐng)域的輕量級(jí)半監(jiān)督模型框架
基本信息
申請(qǐng)?zhí)?/td> | CN202111166569.1 | 申請(qǐng)日 | - |
公開(公告)號(hào) | CN113920395A | 公開(公告)日 | 2022-01-11 |
申請(qǐng)公布號(hào) | CN113920395A | 申請(qǐng)公布日 | 2022-01-11 |
分類號(hào) | G06V10/774(2022.01)I;G06N3/04(2006.01)I;G06F16/35(2019.01)I | 分類 | 計(jì)算;推算;計(jì)數(shù); |
發(fā)明人 | 張夢(mèng)超;付志兵;李漁;費(fèi)斌杰 | 申請(qǐng)(專利權(quán))人 | 北京熵簡(jiǎn)科技有限公司 |
代理機(jī)構(gòu) | 上海劍秋知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 徐浩俊 |
地址 | 100085北京市海淀區(qū)上地三街9號(hào)D座3層D408 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明公開了一種面向少樣本領(lǐng)域的輕量級(jí)半監(jiān)督模型框架,涉及深度學(xué)習(xí)自然語言處理技術(shù)領(lǐng)域,包括:作為預(yù)訓(xùn)練的激勵(lì)網(wǎng)絡(luò);作為訓(xùn)練的目標(biāo)網(wǎng)絡(luò),所述目標(biāo)網(wǎng)絡(luò)連接于所述激勵(lì)網(wǎng)絡(luò),并與所述激勵(lì)網(wǎng)絡(luò)完成若干特征蒸餾;其中,所述激勵(lì)網(wǎng)絡(luò)利用一致性正則化和數(shù)據(jù)增強(qiáng)技術(shù)從無監(jiān)督數(shù)據(jù)和監(jiān)督數(shù)據(jù)中挖掘信息和特征,為后續(xù)的所述目標(biāo)網(wǎng)絡(luò)的訓(xùn)練提供多級(jí)正則化約束。本發(fā)明提供的上述框架采用半監(jiān)督的學(xué)習(xí)方法,在文本分類中,只需要少量的標(biāo)注數(shù)據(jù),也能達(dá)到很好的效果;本發(fā)明提供的上述框架采用激勵(lì)網(wǎng)絡(luò)來引導(dǎo)目標(biāo)網(wǎng)絡(luò)的兩階段訓(xùn)練方法,因?yàn)樽罱K的目標(biāo)網(wǎng)絡(luò)是輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò),因此,參數(shù)量更小,運(yùn)行時(shí)所需資源更少,速度更快。 |
