一種基于統(tǒng)一雙分支網(wǎng)絡(luò)的細(xì)粒度跨媒體檢索方法

基本信息

申請?zhí)?/td> CN202111344346.X 申請日 -
公開（公告）號 CN113779278A 公開（公告）日 2021-12-10
申請公布號 CN113779278A 申請公布日 2021-12-10
分類號 G06F16/43（2019.01）I;G06F16/483（2019.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 沈復(fù)民;姚亞洲;孫澤人;陳濤;張傳一 申請（專利權(quán)）人 南京碼極客科技有限公司
代理機(jī)構(gòu) 成都君合集專利代理事務(wù)所（普通合伙） 代理人 尹新路
地址 211899江蘇省南京市浦口區(qū)新北路1號江北國際智谷B棟5層
法律狀態(tài) -

摘要

摘要 本發(fā)明提出了一種基于統(tǒng)一雙分支網(wǎng)絡(luò)的細(xì)粒度跨媒體檢索方法，采取統(tǒng)一的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取初步公共特征，再通過計算量較低的媒體專屬分支來修正公共特征所缺失的媒體獨立特性。對于統(tǒng)一概率特征分支，不區(qū)分媒體類型統(tǒng)一使用交叉熵?fù)p失來學(xué)習(xí)概率特征。對于媒體特征分支，通過為每種媒體類型使用專屬的模塊來獲取各種媒體類型的獨立特征。然后，將概率特征和媒體特征相結(jié)合，得到最終的公共特征，并用于檢索過程。該網(wǎng)絡(luò)結(jié)構(gòu)采用一個統(tǒng)一的卷積網(wǎng)絡(luò)作為主干，計算成本相對較低，同時兼顧了每種媒體類型的獨立特性，能夠有效地提取各種媒體類型的特征。