語(yǔ)言模型預(yù)訓(xùn)練方法、裝置

基本信息

申請(qǐng)?zhí)?/td> CN202110683642.6 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113408619A 公開(kāi)（公告）日 2021-09-17
申請(qǐng)公布號(hào) CN113408619A 申請(qǐng)公布日 2021-09-17
分類(lèi)號(hào) G06K9/62（2006.01）I;G06F40/289（2020.01）I;G06F40/295（2020.01）I;G06N3/04（2006.01）I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳桂興;黃羿衡 申請(qǐng)（專利權(quán)）人 江蘇蘇云信息科技有限公司
代理機(jī)構(gòu) 江蘇坤象律師事務(wù)所 代理人 趙新民
地址 215012江蘇省蘇州市蘇州吳中經(jīng)濟(jì)開(kāi)發(fā)區(qū)越溪街道吳中大道1421號(hào)太湖軟件產(chǎn)業(yè)園智慧谷園區(qū)6號(hào)樓4樓402室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供語(yǔ)言模型預(yù)訓(xùn)練方法，包括：獲取基于第一特征初始化的第一詞向量，所述第一特征包括圖像特征；獲取隨機(jī)初始化的第二詞向量；基于所述第一詞向量與所述第二詞向量訓(xùn)練語(yǔ)言模型。結(jié)合了包括圖像和詞語(yǔ)構(gòu)成的多模態(tài)特征進(jìn)行預(yù)訓(xùn)練，提升了語(yǔ)言與現(xiàn)實(shí)事物的關(guān)聯(lián)性；降低了進(jìn)行語(yǔ)言模型預(yù)訓(xùn)練所需的語(yǔ)料，有效利用了外部知識(shí)，有利于進(jìn)一步提高語(yǔ)言模型在下游任務(wù)中的使用效果。本發(fā)明還提供的語(yǔ)言模型預(yù)訓(xùn)練裝置能夠?qū)崿F(xiàn)本發(fā)明的語(yǔ)言模型預(yù)訓(xùn)練方法而具有相應(yīng)優(yōu)勢(shì)。