一種融合多尺度信息的圖片情感識別方法

基本信息

申請?zhí)?/td> CN202111481080.3 申請日 -
公開（公告）號 CN114170411A 公開（公告）日 2022-03-11
申請公布號 CN114170411A 申請公布日 2022-03-11
分類號 G06V10/20（2022.01）I;G06V10/40（2022.01）I;G06V10/80（2022.01）I;G06V10/774（2022.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 李光華;楊軍;何亞東;羅瑋;楊東;張宇 申請（專利權(quán)）人 國能大渡河大數(shù)據(jù)服務(wù)有限公司
代理機構(gòu) 成都啟慧金舟知識產(chǎn)權(quán)代理事務(wù)所（特殊普通合伙） 代理人 何媛
地址 625400四川省雅安市石棉縣王崗坪彝族藏族鄉(xiāng)挖角村水電路1號
法律狀態(tài) -

摘要

摘要 本發(fā)明提出了一種融合多尺度信息的圖片情感識別方法，主要涉及深度學(xué)習(xí)中提取和融合多尺度特征進行圖片情感識別的問題。此方法將局部特征和全局特征融合，進行多任務(wù)情感識別，并利用KL損失函數(shù)和交叉熵進行圖片情感識別學(xué)習(xí)，完善了識別的信息。首先，使用兩個網(wǎng)絡(luò)分別提取局部特征和全局特征：利用ViT網(wǎng)絡(luò)來進行局部特征提取，有利于獲得小尺度的情感特征；利用ResNet網(wǎng)絡(luò)進行全局特征提取，以獲得深層情感特征。在將局部特征和全局特征融合后，將其送入全連接層進行分類，在完成主導(dǎo)情緒識別的同時進行了標簽分布學(xué)習(xí)預(yù)測，解決了視覺特征提取不夠充分的問題，能夠合理地實現(xiàn)實例到情感空間的映射。