基于多任務(wù)學(xué)習(xí)與層疊跨模態(tài)融合的多模態(tài)情感分析方法

基本信息

申請?zhí)?/td> CN202210364764.3 申請日 -
公開（公告）號 CN114694076A 公開（公告）日 2022-07-01
申請公布號 CN114694076A 申請公布日 2022-07-01
分類號 G06V20/40（2022.01）I;G06V40/16（2022.01）I;G06V10/764（2022.01）I;G06K9/62（2022.01）I;G06V10/82（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳巧紅;孫佳錦;漏楊波 申請（專利權(quán)）人 浙江理工大學(xué)
代理機(jī)構(gòu) 杭州九洲專利事務(wù)所有限公司 代理人 -
地址 310018浙江省杭州市下沙高教園區(qū)白楊街道2號大街928號
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于自然語言處理領(lǐng)域。技術(shù)方案是：一種基于多任務(wù)學(xué)習(xí)與層疊跨模態(tài)融合的多模態(tài)情感分析方法，其具體執(zhí)行步驟如下：步驟1：將原始視頻拆剪為視頻片段，提取可被模型識別的文本、音頻與視覺特征；步驟2：將步驟1）提取的文本、音頻和視覺特征首先輸入至單模態(tài)特征提取模塊，得到具有上下文語義信息的單模態(tài)隱藏層特征，再將這些單模態(tài)隱藏層特征輸入至層疊跨模態(tài)特征融合模塊，進(jìn)行特征融合與提取，得到多模態(tài)高層特征；步驟3：將步驟2所得的多模態(tài)高層特征與單模態(tài)高層特征進(jìn)行拼接，通過多層感知機(jī)，輸出最終的情感分類結(jié)果。該方法能在保留模態(tài)異質(zhì)性的前提下，連貫融合不同模態(tài)的特征，有效識別復(fù)雜場景下的多模態(tài)情感。