一種基于預(yù)訓(xùn)練語言模型的多任務(wù)學(xué)習(xí)閱讀理解方法

基本信息

申請?zhí)?/td> CN202010365779.2 申請日 -
公開（公告）號 CN111581350A 公開（公告）日 2020-08-25
申請公布號 CN111581350A 申請公布日 2020-08-25
分類號 G06F16/33(2019.01)I 分類 -
發(fā)明人 王春輝;胡勇 申請（專利權(quán)）人 識因智能科技（北京）有限公司
代理機(jī)構(gòu) 北京中北知識產(chǎn)權(quán)代理有限公司 代理人 識因智能科技（北京）有限公司
地址 102600北京市大興區(qū)宏福路8號1層133室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于預(yù)訓(xùn)練語言模型的多任務(wù)學(xué)習(xí)閱讀理解方法。所述方法包括：基于語料庫進(jìn)行訓(xùn)練建立預(yù)訓(xùn)練語言模型，利用所述預(yù)訓(xùn)練語言模型獲得輸入文檔和問題的上下文感知表示；通過設(shè)置由注意力網(wǎng)絡(luò)構(gòu)成的交互層融合問題與文檔之間的語義信息，得到每一個(gè)詞的向量表示；進(jìn)行基于問題是否可答預(yù)測任務(wù)和答案獲取任務(wù)的多任務(wù)學(xué)習(xí)，得到問題是否可答的結(jié)果及問題答案。本發(fā)明通過建立預(yù)訓(xùn)練語言模型，能夠獲得句對之間的蘊(yùn)含關(guān)系；通過設(shè)置交互層能夠充分融合問題與文檔之間的語義信息，使模型具有較好的表達(dá)能力；通過進(jìn)行多任務(wù)學(xué)習(xí)，能夠自適應(yīng)地預(yù)測問題是否可答，并獲取問題的答案。??