基于語(yǔ)境向量反饋的槽填充和意圖檢測(cè)聯(lián)合建模方法

基本信息

申請(qǐng)?zhí)?/td> CN201911331309.8 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN111177381A 公開(kāi)（公告）日 2020-05-19
申請(qǐng)公布號(hào) CN111177381A 申請(qǐng)公布日 2020-05-19
分類號(hào) G06F16/35;G06K9/62 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 蔡劍鋒;孫憶南;陳曉碧 申請(qǐng)（專利權(quán)）人 深圳市傲立科技有限公司
代理機(jī)構(gòu) 北京聯(lián)瑞聯(lián)豐知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 趙娜
地址 518000 廣東省深圳市龍崗區(qū)坂田街道五和大道和成世紀(jì)名園3A棟1101-1102
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于語(yǔ)境向量反饋的槽填充和意圖檢測(cè)聯(lián)合建模方法。該方法包括如下步驟：將語(yǔ)句輸入到語(yǔ)言模型預(yù)訓(xùn)練的詞表征生成網(wǎng)絡(luò)得到當(dāng)前語(yǔ)句的詞表征矩陣；將詞表征矩陣輸入到雙向長(zhǎng)短期記憶網(wǎng)絡(luò)并利用注意力機(jī)制獲得槽特征矩陣和意圖特征向量；將槽特征矩陣和意圖特征向量進(jìn)行處理獲得語(yǔ)境向量；將語(yǔ)境向量分別和槽特征矩陣和意圖特征向量拼接后輸入全連接網(wǎng)絡(luò)得到槽標(biāo)注矩陣和意圖權(quán)重向量，進(jìn)而獲得語(yǔ)句的意圖和槽信息。利用本發(fā)明實(shí)施例，可以在意圖識(shí)別和槽填充任務(wù)中增加全局的語(yǔ)境信息輔助判斷，提升任務(wù)的準(zhǔn)確性，使得模型效果明顯優(yōu)于其他語(yǔ)言理解模型，具有很大的實(shí)用價(jià)值。