一種融合多尺度信息的圖片情感識別方法

基本信息

申請?zhí)?/td> CN202111481080.3 申請日 -
公開（公告）號 CN114170411A 公開（公告）日 2022-03-11
申請公布號 CN114170411A 申請公布日 2022-03-11
分類號 G06V10/20（2022.01）I;G06V10/40（2022.01）I;G06V10/80（2022.01）I;G06V10/774（2022.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 李光華;楊軍;何亞東;羅瑋;楊東;張宇 申請（專利權）人 國能大渡河大數(shù)據(jù)服務有限公司
代理機構 成都啟慧金舟知識產權代理事務所（特殊普通合伙） 代理人 何媛
地址 625400四川省雅安市石棉縣王崗坪彝族藏族鄉(xiāng)挖角村水電路1號
法律狀態(tài) -

摘要

摘要 本發(fā)明提出了一種融合多尺度信息的圖片情感識別方法，主要涉及深度學習中提取和融合多尺度特征進行圖片情感識別的問題。此方法將局部特征和全局特征融合，進行多任務情感識別，并利用KL損失函數(shù)和交叉熵進行圖片情感識別學習，完善了識別的信息。首先，使用兩個網絡分別提取局部特征和全局特征：利用ViT網絡來進行局部特征提取，有利于獲得小尺度的情感特征；利用ResNet網絡進行全局特征提取，以獲得深層情感特征。在將局部特征和全局特征融合后，將其送入全連接層進行分類，在完成主導情緒識別的同時進行了標簽分布學習預測，解決了視覺特征提取不夠充分的問題，能夠合理地實現(xiàn)實例到情感空間的映射。