基于預(yù)訓(xùn)練語(yǔ)言模型和編碼器的消息意圖識(shí)別方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202110655567.2 申請(qǐng)日 -
公開（公告）號(hào) CN113254617B 公開（公告）日 2021-10-22
申請(qǐng)公布號(hào) CN113254617B 申請(qǐng)公布日 2021-10-22
分類號(hào) G06F16/332（2019.01）I;G06F40/289（2020.01）I;G06K9/62（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 江嶺;黃鵬;張振羽 申請(qǐng)（專利權(quán)）人 成都曉多科技有限公司
代理機(jī)構(gòu) 成都睿道專利代理事務(wù)所（普通合伙） 代理人 薛波
地址 610000四川省成都市天府新區(qū)興隆街道湖畔路西段123號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于預(yù)訓(xùn)練語(yǔ)言模型和編碼器的消息意圖識(shí)別方法及系統(tǒng)，包括獲取領(lǐng)域標(biāo)注數(shù)據(jù)集；所述領(lǐng)域標(biāo)注數(shù)據(jù)集通過(guò)對(duì)各個(gè)領(lǐng)域的數(shù)據(jù)集進(jìn)行標(biāo)注后獲得；通過(guò)預(yù)訓(xùn)練語(yǔ)言模型和意圖預(yù)測(cè)器為所述領(lǐng)域標(biāo)注數(shù)據(jù)集中的每一條消息生成一個(gè)軟標(biāo)簽，獲得對(duì)應(yīng)的軟標(biāo)簽數(shù)據(jù)集并輸入消息編碼器；通過(guò)所述消息編碼器對(duì)所述軟標(biāo)簽數(shù)據(jù)集中的每一條消息進(jìn)行切詞處理，并根據(jù)處理結(jié)果進(jìn)行編碼處理后得到對(duì)應(yīng)的特征向量并輸入意圖預(yù)測(cè)器；通過(guò)所述意圖預(yù)測(cè)器將所述軟標(biāo)簽和所述特征向量進(jìn)行拼接后進(jìn)行運(yùn)算得到各個(gè)消息對(duì)應(yīng)的意圖。通過(guò)預(yù)訓(xùn)練語(yǔ)言模型、消息編碼器和意圖預(yù)測(cè)器進(jìn)行協(xié)同處理，既提高了消息識(shí)別的精度，同時(shí)也提高了訓(xùn)練的效率。