基于自注意力和生成對(duì)抗網(wǎng)絡(luò)的細(xì)粒度跨媒體檢索方法

基本信息

申請(qǐng)?zhí)?/td> CN202111334768.9 申請(qǐng)日 -
公開（公告）號(hào) CN113779282A 公開（公告）日 2021-12-10
申請(qǐng)公布號(hào) CN113779282A 申請(qǐng)公布日 2021-12-10
分類號(hào) G06F16/48;G06F16/43;G06F16/45;G06N3/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 姚亞洲;孫澤人;陳濤;張傳一;沈復(fù)民 申請(qǐng)（專利權(quán)）人 南京碼極客科技有限公司
代理機(jī)構(gòu) 成都君合集專利代理事務(wù)所（普通合伙） 代理人 尹新路
地址 211899 江蘇省南京市浦口區(qū)新北路1號(hào)江北國際智谷B棟5層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及細(xì)粒度跨媒體檢索技術(shù)領(lǐng)域，公開了一種基于自注意力和生成對(duì)抗網(wǎng)絡(luò)的細(xì)粒度跨媒體檢索方法，包括：提取媒體數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)；將卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)輸入進(jìn)公共語義空間學(xué)習(xí)模塊，提取與媒體數(shù)據(jù)類別無關(guān)的語義特征A1；將公共語義空間學(xué)習(xí)模塊中的語義特征A1輸入進(jìn)媒體判別器；將生成器和媒體判別器進(jìn)行對(duì)抗學(xué)習(xí)，得到訓(xùn)練后的語義特征A2；將語義特征A2與公共語義空間學(xué)習(xí)模塊中的語義特征A1進(jìn)行相似性度量，根據(jù)度量的結(jié)果檢索其對(duì)應(yīng)的數(shù)據(jù)。本發(fā)明用于學(xué)習(xí)細(xì)粒度子類別之間的細(xì)小差距、縮小跨媒體數(shù)據(jù)之間的異質(zhì)性差異、保證分類準(zhǔn)確率的同時(shí)，使得同一類別標(biāo)簽下不同媒體數(shù)據(jù)的特征盡可能相似。