一種基于文字查找匹配圖片的方法

基本信息

申請?zhí)?/td> CN202110576605.5 申請日 -
公開（公告）號 CN113204666A 公開（公告）日 2021-08-03
申請公布號 CN113204666A 申請公布日 2021-08-03
分類號 G06F16/583（2019.01）I;G06F16/51（2019.01）I;G06F40/284（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 趙天成 申請（專利權）人 杭州聯(lián)匯科技股份有限公司
代理機構 杭州知見專利代理有限公司 代理人 盧金元
地址 310052浙江省杭州市濱江區(qū)長河街道秋溢路399號3號樓四層、五層
法律狀態(tài) -

摘要

摘要 本方案公開了一種基于文字查找匹配圖片的方法，其包括以下步驟：S1、在預訓練模型中檢索查詢語句中的每一個字段相對應的詞向量，作為該字段的初始特征；S2、計算出查詢語句與圖片庫中每張圖像的匹配分數(shù)；S3、將每張圖片的匹配分數(shù)轉換為帶權重的倒排索引形式，即以詞為單位，記錄含有每個詞的圖片ID，并且記錄這個詞在這個圖片的權重，輸出檢索結果。本方案可以學習查詢語句字段與圖片區(qū)域的精確聯(lián)系，從而獲得高召回率的表現(xiàn)；得益于獨立學習查詢語語句字段的特征以及圖片區(qū)域的特征，預先將圖片編入索引，并把整個檢索操作歸納為倒排索引，從而保證了跨模態(tài)檢索的效率。本方案適用于圖片識別檢索領域。