基于多模態(tài)的情緒識(shí)別方法

基本信息

申請(qǐng)?zhí)?/td> CN201810613472.2 申請(qǐng)日 -
公開（公告）號(hào) CN108805089A 公開（公告）日 2021-06-29
申請(qǐng)公布號(hào) CN108805089A 申請(qǐng)公布日 2021-06-29
分類號(hào) G06K9/00;G06F17/27;G06K9/62;G10L25/63;G10L25/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 俞旸;凌志輝 申請(qǐng)（專利權(quán)）人 南京云思創(chuàng)智信息科技有限公司
代理機(jī)構(gòu) 南京知識(shí)律師事務(wù)所 代理人 張?zhí)K沛
地址 210042 江蘇省南京市玄武區(qū)玄武大道699-22號(hào)22棟301
法律狀態(tài) -

摘要

摘要 本發(fā)明的基于多模態(tài)的情緒識(shí)別方法，包括數(shù)據(jù)采集設(shè)備、輸出設(shè)備、情緒分析軟件系統(tǒng)，情緒分析軟件系統(tǒng)通過對(duì)數(shù)據(jù)采集設(shè)備得到的數(shù)據(jù)進(jìn)行綜合分析推理，最終把結(jié)果輸出至輸出設(shè)備上；具體步驟為：基于面部圖像表情情緒識(shí)別步驟、基于語音信號(hào)情緒識(shí)別步驟、基于文本語義情感分析步驟、基于人體姿態(tài)情緒識(shí)別步驟、基于生理信號(hào)情緒識(shí)別步驟，以及基于多輪對(duì)話語義理解步驟和基于時(shí)序多模態(tài)情緒語義融合關(guān)聯(lián)判斷步驟。本發(fā)明突破性的打通了五大單模態(tài)的情緒識(shí)別，創(chuàng)新性的利用深度神經(jīng)網(wǎng)絡(luò)將多個(gè)單模態(tài)的信息由神經(jīng)網(wǎng)絡(luò)編碼、深度的關(guān)聯(lián)和理解后進(jìn)行綜合判斷，大幅度的提高了準(zhǔn)確率，適用于絕大多數(shù)一般問詢互動(dòng)類應(yīng)用場(chǎng)景。