語義效果評估方法以及相關(guān)裝置

基本信息

申請?zhí)?/td> CN202111599467.9 申請日 -
公開（公告）號 CN114492461A 公開（公告）日 2022-05-13
申請公布號 CN114492461A 申請公布日 2022-05-13
分類號 G06F40/35（2020.01）I;G06F40/146（2020.01）I;G06F40/143（2020.01）I;G06N3/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 段紀(jì)丁;杜倩云;李繁;趙敏志;朱成軍;程大龍 申請（專利權(quán)）人 科大訊飛華南人工智能研究院（廣州）有限公司
代理機構(gòu) 深圳市威世博知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 -
地址 510000廣東省廣州市南沙區(qū)豐澤東路106號（自編1號樓）X1301-G5145
法律狀態(tài) -

摘要

摘要 本申請公開了一種語義效果評估方法以及相關(guān)裝置，該語義效果評估方法包括：獲得待評估對話；其中，待評估對話中包括與用戶意圖相關(guān)的預(yù)測文本；將待評估對話輸入至多輪對話測試集，利用多輪對話測試集對待評估對話中不同節(jié)點的預(yù)測文本進行驗證；響應(yīng)于待評估對話中存在至少一個識別錯誤的錯誤節(jié)點，基于多輪對話測試集對待評估對話中錯誤節(jié)點之后的內(nèi)容進行重構(gòu)以獲得第一對話；基于第一對話中的所有節(jié)點對第一對話進行評估。這樣可以采用離線方式對語義效果進行驗證，并且在測試過程中遇到語義識別錯誤的節(jié)點時，實時重構(gòu)錯誤節(jié)點之后的剩余部分，從而能夠繼續(xù)流入到下一節(jié)點對下一句對話進行評估，最終完整實現(xiàn)對所有節(jié)點語義效果的評估。