一種閱讀理解模型訓(xùn)練數(shù)據(jù)的過(guò)濾方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN201811644614.8 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN109766424B 公開(kāi)（公告）日 2021-11-19
申請(qǐng)公布號(hào) CN109766424B 申請(qǐng)公布日 2021-11-19
分類(lèi)號(hào) G06F16/332（2019.01）I;G06F16/33（2019.01）I;G06F16/35（2019.01）I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李健銓;劉小康;晉耀紅 申請(qǐng)（專(zhuān)利權(quán)）人 安徽省泰岳祥升軟件有限公司
代理機(jī)構(gòu) 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 逯長(zhǎng)明;許偉群
地址 230088安徽省合肥市高新區(qū)習(xí)友路3333號(hào)中國(guó)（合肥）國(guó)際智能語(yǔ)音產(chǎn)業(yè)園研發(fā)中心樓405-5室
法律狀態(tài) -

摘要

摘要 本申請(qǐng)公開(kāi)一種閱讀理解模型訓(xùn)練數(shù)據(jù)的過(guò)濾方法及裝置，首先獲取輸入文本，將輸入文本表示為包含詞匯共現(xiàn)信息和位置編碼信息的第二詞向量；其次根據(jù)輸入文本的注意力對(duì)第二詞向量進(jìn)行加權(quán)；對(duì)第二詞向量的加權(quán)結(jié)果進(jìn)行歸一化處理生成第一輸出矩陣；再對(duì)第一輸出矩陣進(jìn)行全連接的線性變換處理并進(jìn)行歸一化處理，生成第二輸出矩陣；然后根據(jù)第二輸出矩陣生成低維特征向量；最后對(duì)低維特征向量進(jìn)行歸一化處理，得到所述答案與所述查詢語(yǔ)句的匹配度；根據(jù)預(yù)設(shè)的過(guò)濾條件過(guò)濾所述匹配度相應(yīng)的輸入文本。本申請(qǐng)方法按照答案與查詢語(yǔ)句的匹配度對(duì)閱讀理解模型訓(xùn)練數(shù)據(jù)進(jìn)行過(guò)濾，優(yōu)化訓(xùn)練數(shù)據(jù)，剔除錯(cuò)誤數(shù)據(jù)，有利于提升模型性能。