一種面向人機交互的多類信息耦合的情感識別方法

基本信息

申請?zhí)?/td> CN201410482861.8 申請日 -
公開（公告）號 CN104200804B 公開（公告）日 2017-05-17
申請公布號 CN104200804B 申請公布日 2017-05-17
分類號 G10L15/02(2006.01)I;G10L15/26(2006.01)I;G10L25/63(2013.01)I;G06K9/00(2006.01)I;G06K9/46(2006.01)I 分類 樂器；聲學;
發(fā)明人 孫曉;陳煒亮;李承程;任福繼 申請（專利權）人 山東心法科技有限公司
代理機構 安徽省合肥新安專利代理有限責任公司 代理人 何梅生
地址 266000 山東省青島市市南區(qū)寧夏路288號市南軟件園11號樓A座5層504室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于深度學習的多類信息耦合的情感識別方法，其特征是按如下步驟進行：1獲取人臉表情的視頻數據以及語音數據；2對文本內容進行文本特征提取，獲得文本信息特征；3提取語音數據的韻律學特征和整體語音特征并進行耦合，獲得語音信息特征；3對視頻數據進行進行圖像特征提取，獲得表情信息特征；4對文本信息特征、語音信息特征和表情信息特征進行耦合，獲得綜合信息特征；5利用深度學習方法對綜合信息特征進行數據優(yōu)化，并利用分類器對優(yōu)化的綜合信息特征進行訓練，獲得情感識別模型，以情感識別模型實現對多類信息耦合的情感識別。本發(fā)明能全面結合文本、語音和視頻三個方面的數據信息，從而提高人機交互中的情感狀態(tài)判斷的準確度。