一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)分類方法

基本信息

申請?zhí)?/td> CN202010412886.6 申請日 -
公開(公告)號 CN111985520A 公開(公告)日 2020-11-24
申請公布號 CN111985520A 申請公布日 2020-11-24
分類號 G06K9/62(2006.01)I 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 王魏;李述 申請(專利權(quán))人 南京智谷人工智能研究院有限公司
代理機(jī)構(gòu) 南京新慧恒誠知識產(chǎn)權(quán)代理有限公司 代理人 南京智谷人工智能研究院有限公司
地址 210000江蘇省南京市經(jīng)濟(jì)技術(shù)開發(fā)區(qū)紅楓科技園C4棟
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)分類方法,包括以下步驟:(一)首先需要用戶準(zhǔn)備好一個(gè)對象庫,其中每個(gè)對象包含個(gè)模態(tài),通過人工標(biāo)注的方法為庫中的少量對象提供一個(gè)類別標(biāo)記,這些有類別標(biāo)記的對象稱為初始的有標(biāo)記訓(xùn)練數(shù)據(jù),它們和剩余的大量未標(biāo)記對象一同構(gòu)成訓(xùn)練數(shù)據(jù)集;本發(fā)明通過創(chuàng)新的多模態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)綜合考慮了不同模態(tài)的圖結(jié)構(gòu)信息,在多模態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的每一層中通過分配可訓(xùn)練的權(quán)值,使得每個(gè)模態(tài)所學(xué)的表示能夠逐步考慮其它模態(tài)的結(jié)構(gòu)信息。??