一種雙注意力訓(xùn)練序列生成方法、裝置及可讀存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110646605.8 申請(qǐng)日 -
公開（公告）號(hào) CN113378925A 公開（公告）日 2021-09-10
申請(qǐng)公布號(hào) CN113378925A 申請(qǐng)公布日 2021-09-10
分類號(hào) G06K9/62（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 胡光敏;婁坤;姜黎 申請(qǐng)（專利權(quán)）人 杭州芯聲智能科技有限公司
代理機(jī)構(gòu) 成都知都云專利代理事務(wù)所（普通合伙） 代理人 趙正寅
地址 310000浙江省杭州市杭州經(jīng)濟(jì)技術(shù)開發(fā)區(qū)白楊街道科技園路20號(hào)14幢3層02室-15
法律狀態(tài) -

摘要

摘要 本發(fā)明提供的一種雙注意力訓(xùn)練序列生成方法、裝置及可讀存儲(chǔ)介質(zhì)，涉及計(jì)算機(jī)深度學(xué)習(xí)領(lǐng)域。本發(fā)明通過構(gòu)建面向輸入文本中字符的重要度和輸入文本中字符對(duì)應(yīng)槽值關(guān)聯(lián)度的雙注意力機(jī)制模型來(lái)生成對(duì)應(yīng)輸入文本的雙注意力訓(xùn)練序列，槽值關(guān)聯(lián)度根據(jù)槽值的query釋義矩陣作為先驗(yàn)知識(shí)進(jìn)行衡量，能使訓(xùn)練序列同時(shí)具備重要度特征和關(guān)聯(lián)度特征；本發(fā)明通過Bi?lstm層使訓(xùn)練序列前后關(guān)聯(lián)，并計(jì)算其權(quán)重占比，從而得到輸入文本中字符的重要度，將該訓(xùn)練序列作為訓(xùn)練數(shù)據(jù)能得到對(duì)重要信息關(guān)注度更好的模型；本發(fā)明通過雙序列標(biāo)注法減少了傳統(tǒng)標(biāo)注法所使用到的槽值標(biāo)簽數(shù)目，有助于訓(xùn)練模型的擬合和效率提升。