基于多模態(tài)的情緒識別方法

基本信息

申請?zhí)?/td> CN201810613472.2 申請日 -
公開（公告）號 CN108805089B 公開（公告）日 2021-06-29
申請公布號 CN108805089B 申請公布日 2021-06-29
分類號 G06K9/62（2006.01）I;G06K9/00（2006.01）I;G06F40/30（2020.01）I;G06F40/205（2020.01）I;G06F40/289（2020.01）I;G10L25/63（2013.01）I;G10L25/30（2013.01）I;G06N3/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 俞旸;凌志輝 申請（專利權）人 南京云思創(chuàng)智信息科技有限公司
代理機構 南京知識律師事務所 代理人 張?zhí)K沛
地址 210042江蘇省南京市玄武區(qū)玄武大道699-22號22棟301
法律狀態(tài) -

摘要

摘要 本發(fā)明的基于多模態(tài)的情緒識別方法，包括數(shù)據(jù)采集設備、輸出設備、情緒分析軟件系統(tǒng)，情緒分析軟件系統(tǒng)通過對數(shù)據(jù)采集設備得到的數(shù)據(jù)進行綜合分析推理，最終把結果輸出至輸出設備上；具體步驟為：基于面部圖像表情情緒識別步驟、基于語音信號情緒識別步驟、基于文本語義情感分析步驟、基于人體姿態(tài)情緒識別步驟、基于生理信號情緒識別步驟，以及基于多輪對話語義理解步驟和基于時序多模態(tài)情緒語義融合關聯(lián)判斷步驟。本發(fā)明突破性的打通了五大單模態(tài)的情緒識別，創(chuàng)新性的利用深度神經(jīng)網(wǎng)絡將多個單模態(tài)的信息由神經(jīng)網(wǎng)絡編碼、深度的關聯(lián)和理解后進行綜合判斷，大幅度的提高了準確率，適用于絕大多數(shù)一般問詢互動類應用場景。