一種基于關(guān)鍵對象特征的深度監(jiān)督跨模態(tài)檢索方法

基本信息

申請?zhí)?/td> CN202110208356.4 申請日 -
公開（公告）號 CN113010720A 公開（公告）日 2021-06-22
申請公布號 CN113010720A 申請公布日 2021-06-22
分類號 G06F16/583;G06F16/33;G06N3/04;G06N3/08 分類 計算；推算；計數(shù);
發(fā)明人 曾煥強;阮海濤;陳婧;張聯(lián)昌;劉青松;張帆 申請（專利權(quán)）人 廈門華聯(lián)電子股份有限公司
代理機構(gòu) 廈門市首創(chuàng)君合專利事務(wù)所有限公司 代理人 張松亭;王婷婷
地址 362000 福建省泉州市豐澤區(qū)城東城華北路269號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于關(guān)鍵對象特征的深度監(jiān)督跨模態(tài)檢索方法，具體包括：首先構(gòu)建特征學(xué)習(xí)模塊抽取每個模態(tài)的深度特征，建立每個模態(tài)的注意力網(wǎng)絡(luò)模型將各個模態(tài)抽取的特征分為關(guān)鍵特征和輔助特征，然后將每個模態(tài)抽取的關(guān)鍵特征和輔助特征進行融合作為最終的語義表征，最后建立三重?fù)p失函數(shù)：公共空間損失，標(biāo)簽空間損失和模態(tài)間不變性損失對模型進行訓(xùn)練學(xué)習(xí)。本發(fā)明提供的方法不僅能提高檢索速度而且能夠有效解決跨模態(tài)檢索中精確度不高的問題。