基于深度學(xué)習(xí)的多模態(tài)融合的歌曲情感識(shí)別方法

基本信息

申請(qǐng)?zhí)?/td> CN201610625990.7 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN106228977A 公開(kāi)（公告）日 2016-12-14
申請(qǐng)公布號(hào) CN106228977A 申請(qǐng)公布日 2016-12-14
分類號(hào) G10L15/02(2006.01)I;G10L15/06(2013.01)I;G10L15/18(2013.01)I;G10L15/26(2006.01)I 分類 樂(lè)器；聲學(xué);
發(fā)明人 孫曉;陳煒亮;任福繼 申請(qǐng)（專利權(quán)）人 青島類認(rèn)知人工智能有限公司
代理機(jī)構(gòu) 安徽省合肥新安專利代理有限責(zé)任公司 代理人 陸麗莉;何梅生
地址 266000 山東省青島市市南區(qū)寧夏路288號(hào)市南軟件園11號(hào)樓A座5層502室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的多模態(tài)耦合的歌曲情感識(shí)別方法，其特征是按如下步驟進(jìn)行：1獲取歌曲歌詞文本數(shù)據(jù)和音頻語(yǔ)音數(shù)據(jù)；2對(duì)歌詞文本內(nèi)容進(jìn)行文本特征提取，獲得歌詞文本信息特征；3提取歌曲語(yǔ)音數(shù)據(jù)的第一語(yǔ)音特征和第二語(yǔ)音特征并進(jìn)行第一次融合，獲得歌曲語(yǔ)音信息特征；4對(duì)歌詞文本信息特征和歌曲語(yǔ)音信息特征進(jìn)行第二次融合，獲得歌曲的綜合信息特征；5利用深度分類器對(duì)綜合信息特征進(jìn)行訓(xùn)練，獲得歌曲情感識(shí)別模型，以歌曲情感識(shí)別模型實(shí)現(xiàn)對(duì)歌曲的多模態(tài)融合的情感識(shí)別。本發(fā)明能全面結(jié)合歌曲的歌詞文本信息和歌曲音頻信息兩個(gè)方面的數(shù)據(jù)信息，從而提高人機(jī)交互中的對(duì)歌曲情感狀態(tài)判斷的準(zhǔn)確度。