一種視頻/圖片-文本跨模態(tài)檢索方法

基本信息

申請?zhí)?/td> CN202011501900.6 申請日 -
公開（公告）號 CN112488133B 公開（公告）日 2022-06-14
申請公布號 CN112488133B 申請公布日 2022-06-14
分類號 G06V10/44（2022.01）I;G06V10/764（2022.01）I;G06V10/74（2022.01）I;G06K9/62（2022.01）I;G06N20/00（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 楊陽;位紀偉 申請（專利權）人 電子科技大學廣東電子信息工程研究院
代理機構 成都行之專利代理事務所（普通合伙） 代理人 -
地址 550025貴州省貴陽市花溪區(qū)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種視頻/圖片?文本跨模態(tài)檢索方法，在損失函數(shù)設計的兩個關鍵準則下（損失函數(shù)的值隨著與正對相似度分數(shù)成反比，與負對相似度分數(shù)成正比；不同的相似度分數(shù)應有不同的懲罰強度）構建了一個新的指數(shù)損失函數(shù)，該指數(shù)損失函數(shù)能為不同的視頻/圖片、文本依據(jù)它們的相似度分配不同的權重值，從而加速深度度量學習模型收斂，并學習獲得高度魯棒的視頻/圖片映射、文本映射的網(wǎng)絡參數(shù)，提高跨模態(tài)檢索精度，同時，極大減少了深度度量學習過程中的超參數(shù)，在保證精度和收斂速度的前提下，減少實驗驗證超參數(shù)的工作量。