一種基于深度學(xué)習(xí)的無監(jiān)督文本檢索方法

基本信息

申請(qǐng)?zhí)?/td> CN202110597764.3 申請(qǐng)日 -
公開（公告）號(hào) CN113254586B 公開（公告）日 2021-11-05
申請(qǐng)公布號(hào) CN113254586B 申請(qǐng)公布日 2021-11-05
分類號(hào) G06F16/33（2019.01）I;G06F40/126（2020.01）I;G06F40/216（2020.01）I;G06F40/284（2020.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊敏;賀倩明;方正 申請(qǐng)（專利權(quán)）人 深圳得理科技有限公司
代理機(jī)構(gòu) 北京市誠輝律師事務(wù)所 代理人 耿慧敏;朱偉軍
地址 518055廣東省深圳市南山區(qū)深圳大學(xué)城學(xué)苑大道1068號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于深度學(xué)習(xí)的無監(jiān)督文本檢索方法。該方法包括：對(duì)于待查詢文本，根據(jù)其文本向量與數(shù)據(jù)庫中存儲(chǔ)的被匹配文本的文本向量的相似度返回檢索結(jié)果，其中，被匹配文本的文本向量根據(jù)以下步驟生成：對(duì)于輸入文本，基于注意力機(jī)制的預(yù)訓(xùn)練模型挖掘詞語間的語義聯(lián)系，將文本序列轉(zhuǎn)換成詞向量序列；對(duì)于得到的詞向量序列，結(jié)合領(lǐng)域內(nèi)詞匯的平滑逆頻率對(duì)詞向量進(jìn)行加權(quán)，生成第一文本向量，其中所述領(lǐng)域內(nèi)詞匯的平滑倒頻率反映詞語在領(lǐng)域文獻(xiàn)中的出現(xiàn)次數(shù)；獲取領(lǐng)域內(nèi)文本向量的主成分，并從所述第一文本向量中減去對(duì)應(yīng)的主成分，獲得第二文本向量，作為文本向量存儲(chǔ)。利用本發(fā)明能夠提升檢索的準(zhǔn)確性和效率。