基于深度學習的多模態(tài)融合的歌曲情感識別方法

基本信息

申請?zhí)?/td> CN201610625990.7 申請日 -
公開（公告）號 CN106228977B 公開（公告）日 2019-07-19
申請公布號 CN106228977B 申請公布日 2019-07-19
分類號 G10L15/02;G10L15/06;G10L15/18;G10L15/26 分類 樂器；聲學;
發(fā)明人 孫曉;陳煒亮;任福繼 申請（專利權）人 青島類認知人工智能有限公司
代理機構 安徽省合肥新安專利代理有限責任公司 代理人 陸麗莉;何梅生
地址 266000 山東省青島市市南區(qū)寧夏路288號市南軟件園11號樓A座5層502室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于深度學習的多模態(tài)耦合的歌曲情感識別方法，其特征是按如下步驟進行：1獲取歌曲歌詞文本數(shù)據(jù)和音頻語音數(shù)據(jù)；2對歌詞文本內容進行文本特征提取，獲得歌詞文本信息特征；3提取歌曲語音數(shù)據(jù)的第一語音特征和第二語音特征并進行第一次融合，獲得歌曲語音信息特征；4對歌詞文本信息特征和歌曲語音信息特征進行第二次融合，獲得歌曲的綜合信息特征；5利用深度分類器對綜合信息特征進行訓練，獲得歌曲情感識別模型，以歌曲情感識別模型實現(xiàn)對歌曲的多模態(tài)融合的情感識別。本發(fā)明能全面結合歌曲的歌詞文本信息和歌曲音頻信息兩個方面的數(shù)據(jù)信息，從而提高人機交互中的對歌曲情感狀態(tài)判斷的準確度。