一種深度監(jiān)督與特征融合的細(xì)粒度跨媒體檢索方法

基本信息

申請?zhí)?/td> CN202111334293.3 申請日 -
公開（公告）號(hào) CN113779283A 公開（公告）日 2021-12-10
申請公布號(hào) CN113779283A 申請公布日 2021-12-10
分類號(hào) G06F16/483（2019.01）I;G06F16/43（2019.01）I;G06F16/45（2019.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 姚亞洲;孫澤人;陳濤;張傳一;沈復(fù)民 申請（專利權(quán)）人 南京碼極客科技有限公司
代理機(jī)構(gòu) 成都君合集專利代理事務(wù)所（普通合伙） 代理人 尹新路
地址 211899江蘇省南京市浦口區(qū)新北路1號(hào)江北國際智谷B棟5層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，公開了一種深度監(jiān)督與特征融合的細(xì)粒度跨媒體檢索方法，包括：步驟S1.將圖像數(shù)據(jù)、視頻數(shù)據(jù)、文本數(shù)據(jù)和音頻數(shù)據(jù)分別輸入到媒體專用網(wǎng)絡(luò)中，將四種媒體數(shù)據(jù)子網(wǎng)絡(luò)最后一層的全連接層進(jìn)行權(quán)值共享，提取對應(yīng)的原始特征；步驟S2.將原始特征利用語義信息和標(biāo)簽信息輸入進(jìn)公共空間，同時(shí)媒體數(shù)據(jù)四種子網(wǎng)絡(luò)分別連接線性分類器，根據(jù)線性分類器內(nèi)的標(biāo)簽信息對提取到的媒體數(shù)據(jù)的原始特征進(jìn)行分類；步驟S3.預(yù)設(shè)三元組損失約束條件、分類損失約束條件和判別損失約束條件上，對公共空間內(nèi)媒體數(shù)據(jù)的分類特征進(jìn)行度量。本發(fā)明用于在標(biāo)簽空間和公共的特征表示空間內(nèi)最大程度地減小判別損失并學(xué)習(xí)各媒體特征的相似性。