一種基于關鍵對象特征的深度監(jiān)督跨模態(tài)檢索方法

基本信息

申請?zhí)?/td> CN202110208356.4 申請日 -
公開（公告）號 CN113010720A 公開（公告）日 2021-06-22
申請公布號 CN113010720A 申請公布日 2021-06-22
分類號 G06F16/583;G06F16/33;G06N3/04;G06N3/08 分類 計算；推算；計數;
發(fā)明人 曾煥強;阮海濤;陳婧;張聯昌;劉青松;張帆 申請（專利權）人 廈門華聯電子股份有限公司
代理機構 廈門市首創(chuàng)君合專利事務所有限公司 代理人 張松亭;王婷婷
地址 362000 福建省泉州市豐澤區(qū)城東城華北路269號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于關鍵對象特征的深度監(jiān)督跨模態(tài)檢索方法，具體包括：首先構建特征學習模塊抽取每個模態(tài)的深度特征，建立每個模態(tài)的注意力網絡模型將各個模態(tài)抽取的特征分為關鍵特征和輔助特征，然后將每個模態(tài)抽取的關鍵特征和輔助特征進行融合作為最終的語義表征，最后建立三重損失函數：公共空間損失，標簽空間損失和模態(tài)間不變性損失對模型進行訓練學習。本發(fā)明提供的方法不僅能提高檢索速度而且能夠有效解決跨模態(tài)檢索中精確度不高的問題。