一種結(jié)合類(lèi)詞信息的語(yǔ)言模型預(yù)訓(xùn)練方法

基本信息

申請(qǐng)?zhí)?/td> CN201910775453.4 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN110489555B 公開(kāi)（公告）日 2022-03-08
申請(qǐng)公布號(hào) CN110489555B 申請(qǐng)公布日 2022-03-08
分類(lèi)號(hào) G06F16/35（2019.01）I;G06F40/284（2020.01）I;G06F40/289（2020.01）I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 白佳欣;宋彥 申請(qǐng)（專(zhuān)利權(quán)）人 創(chuàng)新工場(chǎng)（廣州）人工智能研究有限公司
代理機(jī)構(gòu) 深圳市智享知識(shí)產(chǎn)權(quán)代理有限公司 代理人 王琴;蔣慧
地址 510000廣東省廣州市黃埔區(qū)光譜中路23號(hào)A2棟1001房
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及語(yǔ)言處理技術(shù)領(lǐng)域，尤其涉及一種結(jié)合類(lèi)詞信息的語(yǔ)言模型預(yù)訓(xùn)練方法，其包括如下步驟：S1、提供預(yù)訓(xùn)練模型及預(yù)訓(xùn)練文本；S2、抽取字符串并形成詞表；S3、抽取兩個(gè)句子作為訓(xùn)練語(yǔ)句同時(shí)將訓(xùn)練語(yǔ)句分割成單字序列；S4、將步驟S2中的字符串和單字序列中的字進(jìn)行匹配，并對(duì)和單字序列中的字相匹配的字符串進(jìn)行標(biāo)記；S5、將單字序列之中選取預(yù)設(shè)比例的單字進(jìn)行遮蓋或替換，且將遮蓋或替換過(guò)的訓(xùn)練語(yǔ)句和被標(biāo)記的字符串同時(shí)輸入至預(yù)訓(xùn)練模型中對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練并優(yōu)化；S6、重復(fù)步驟S2?S5直至預(yù)訓(xùn)練模型達(dá)到設(shè)定的優(yōu)化條件以獲得優(yōu)化后的預(yù)訓(xùn)練模型。本發(fā)明提供的結(jié)合類(lèi)詞信息的語(yǔ)言模型預(yù)訓(xùn)練方法及預(yù)訓(xùn)練模型在多個(gè)下游任務(wù)上有更好的表現(xiàn)。