一種基于多分支網(wǎng)絡(luò)結(jié)構(gòu)加速翻譯模型訓(xùn)練速度的方法

基本信息

申請(qǐng)?zhí)?/td> CN202110637196.5 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113392655A 公開(kāi)（公告）日 2021-09-14
申請(qǐng)公布號(hào) CN113392655A 申請(qǐng)公布日 2021-09-14
分類號(hào) G06F40/58（2020.01）I;G06F40/289（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 杜權(quán);劉興宇;徐萍 申請(qǐng)（專利權(quán)）人 沈陽(yáng)雅譯網(wǎng)絡(luò)技術(shù)有限公司
代理機(jī)構(gòu) 沈陽(yáng)新科知識(shí)產(chǎn)權(quán)代理事務(wù)所（特殊普通合伙） 代理人 李曉光
地址 110004遼寧省沈陽(yáng)市和平區(qū)三好街78號(hào)東軟電腦城C座11層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于多分支網(wǎng)絡(luò)結(jié)構(gòu)加速翻譯模型訓(xùn)練速度的方法，步驟為：清洗來(lái)自公開(kāi)數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)，去除數(shù)據(jù)中包含亂碼的句子，分別對(duì)雙語(yǔ)數(shù)據(jù)進(jìn)行分詞、去重和平行語(yǔ)料的長(zhǎng)度比過(guò)濾，得到可靠的雙語(yǔ)數(shù)據(jù)；修改開(kāi)源的翻譯模型結(jié)構(gòu)，構(gòu)建新的多分支翻譯模型；使用與翻譯模型不同的訓(xùn)練策略對(duì)多分支翻譯模型進(jìn)行訓(xùn)練；用戶向模型輸入源文，多分支翻譯模型使用束搜索進(jìn)行模型推斷，生成用戶輸入源文的譯文。本發(fā)明更加有效地學(xué)習(xí)語(yǔ)料知識(shí)，在能保證模型性能的條件下，具有更快的訓(xùn)練速度，一定程度上緩解了傳統(tǒng)模型訓(xùn)練較慢的缺陷，將多分支網(wǎng)絡(luò)結(jié)構(gòu)成功地運(yùn)用在了神經(jīng)機(jī)器翻譯中，完備了多分支網(wǎng)絡(luò)在神經(jīng)機(jī)器翻譯中的應(yīng)用。