一種基于亂序重排的自然語(yǔ)言模型預(yù)訓(xùn)練方法及電子設(shè)備
基本信息
| 申請(qǐng)?zhí)?/td> | CN201910780239.8 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN112487786A | 公開（公告）日 | 2021-03-12 |
| 申請(qǐng)公布號(hào) | CN112487786A | 申請(qǐng)公布日 | 2021-03-12 |
| 分類號(hào) | G06F40/211(2020.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 宋思睿;宋彥 | 申請(qǐng)（專利權(quán)）人 | 創(chuàng)新工場(chǎng)（廣州）人工智能研究有限公司 |
| 代理機(jī)構(gòu) | 深圳市智享知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 王琴;蔣慧 |
| 地址 | 510000廣東省廣州市黃埔區(qū)光譜中路23號(hào)A2棟1001房 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及語(yǔ)言處理技術(shù)領(lǐng)域，尤其涉及一種基于亂序重排的自然語(yǔ)言模型預(yù)訓(xùn)練方法及電子設(shè)備，其包括如下步驟：S1、提供順序恢復(fù)網(wǎng)絡(luò)及預(yù)訓(xùn)練文本；S2、獲得詞級(jí)訓(xùn)練文本或句級(jí)訓(xùn)練文本；S3、將詞級(jí)訓(xùn)練文本的每個(gè)詞轉(zhuǎn)化為輸入詞向量或者輸入句向量；S4、將輸入詞向量或輸入句向量輸入至順序恢復(fù)網(wǎng)絡(luò)中以獲得預(yù)測(cè)順序概率分布；S5、根據(jù)預(yù)測(cè)順序概率分布和詞級(jí)訓(xùn)練文本的真實(shí)順序?qū)Ρ然蛘吆途浼?jí)訓(xùn)練文本的真實(shí)順序?qū)Ρ葟亩鴮?duì)順序恢復(fù)網(wǎng)絡(luò)進(jìn)行優(yōu)化；S6、重復(fù)上述步驟S2?S5直至順序恢復(fù)網(wǎng)絡(luò)達(dá)到設(shè)定的優(yōu)化條件。本發(fā)明提供的基于亂序重排的自然語(yǔ)言模型預(yù)訓(xùn)練方法及順序恢復(fù)網(wǎng)絡(luò)從而可在多個(gè)層次上提取上下文信息，使得下游任務(wù)更加容易進(jìn)行。?? |
