基于預(yù)訓(xùn)練語言模型和編碼器的消息意圖識別方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110655567.2 申請日 -
公開（公告）號 CN113254617B 公開（公告）日 2021-10-22
申請公布號 CN113254617B 申請公布日 2021-10-22
分類號 G06F16/332（2019.01）I;G06F40/289（2020.01）I;G06K9/62（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 江嶺;黃鵬;張振羽 申請（專利權(quán)）人 成都曉多科技有限公司
代理機(jī)構(gòu) 成都睿道專利代理事務(wù)所（普通合伙） 代理人 薛波
地址 610000四川省成都市天府新區(qū)興隆街道湖畔路西段123號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于預(yù)訓(xùn)練語言模型和編碼器的消息意圖識別方法及系統(tǒng)，包括獲取領(lǐng)域標(biāo)注數(shù)據(jù)集；所述領(lǐng)域標(biāo)注數(shù)據(jù)集通過對各個領(lǐng)域的數(shù)據(jù)集進(jìn)行標(biāo)注后獲得；通過預(yù)訓(xùn)練語言模型和意圖預(yù)測器為所述領(lǐng)域標(biāo)注數(shù)據(jù)集中的每一條消息生成一個軟標(biāo)簽，獲得對應(yīng)的軟標(biāo)簽數(shù)據(jù)集并輸入消息編碼器；通過所述消息編碼器對所述軟標(biāo)簽數(shù)據(jù)集中的每一條消息進(jìn)行切詞處理，并根據(jù)處理結(jié)果進(jìn)行編碼處理后得到對應(yīng)的特征向量并輸入意圖預(yù)測器；通過所述意圖預(yù)測器將所述軟標(biāo)簽和所述特征向量進(jìn)行拼接后進(jìn)行運(yùn)算得到各個消息對應(yīng)的意圖。通過預(yù)訓(xùn)練語言模型、消息編碼器和意圖預(yù)測器進(jìn)行協(xié)同處理，既提高了消息識別的精度，同時也提高了訓(xùn)練的效率。