一種多模態(tài)信息融合的短視頻情感判定裝置及方法

基本信息

申請(qǐng)?zhí)?/td> CN202110273165.6 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN112668559B 公開(kāi)（公告）日 2021-06-18
申請(qǐng)公布號(hào) CN112668559B 申請(qǐng)公布日 2021-06-18
分類(lèi)號(hào) G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08;G10L15/16;G10L15/26;G10L25/63 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 蘇旋;郭軒;魏鳳仙 申請(qǐng)（專(zhuān)利權(quán)）人 冠傳網(wǎng)絡(luò)科技（上海）有限公司
代理機(jī)構(gòu) - 代理人 -
地址 210000 江蘇省南京市鼓樓區(qū)工農(nóng)新村288號(hào)-207
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種多模態(tài)信息融合的短視頻情感判定方法、裝置及存儲(chǔ)介質(zhì)。采用獲取程序獲取短視頻，從所述短視頻中分離出音視頻，提取語(yǔ)音特征和文字特征，利用基于多注意力模型的融合交互信息的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)對(duì)上述特征進(jìn)行編解碼處理，得到短視頻的情感分類(lèi)特征向量，使用分類(lèi)器進(jìn)行情感分類(lèi)，響應(yīng)于用戶(hù)的短視頻展示和/或屏蔽請(qǐng)求，向用戶(hù)展示與其查詢(xún)請(qǐng)求相符的短視頻。本發(fā)明一方面能夠準(zhǔn)確提取短視頻中蘊(yùn)含的有效信息，另一方面對(duì)這些獨(dú)立的特征信息進(jìn)行融合處理，可進(jìn)一步挖掘其相互之間的內(nèi)在關(guān)系，并能最終提高短視頻的情感分類(lèi)準(zhǔn)確度。