一種跨模態(tài)情感遷移方法及裝置

基本信息

申請?zhí)?/td> CN201910163381.8 申請日 -
公開（公告）號 CN111832331A 公開（公告）日 2020-10-27
申請公布號 CN111832331A 申請公布日 2020-10-27
分類號 G06K9/00(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王春雷;尉遲學(xué)彪;毛鵬軒 申請（專利權(quán)）人 北京入思技術(shù)集團(tuán)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100083北京市海淀區(qū)學(xué)清路甲18號中關(guān)村東升科技園學(xué)院園東配樓2層224室(東升地區(qū))
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種跨模態(tài)情感遷移方法及裝置，所述方法包括：接收用戶語音信號和視頻圖像；基于所述語音信號和視頻圖像分別進(jìn)行用戶語音情緒識別和面部表情識別；比對所述語音情緒識別結(jié)果和面部表情識別結(jié)果是否一致，如果一致則將用戶語音信號和原始視頻圖像直接輸出，否則根據(jù)所述語音情緒識別結(jié)果對所述用戶視頻圖像進(jìn)行相應(yīng)的面部表情修正，并將用戶語音信號和經(jīng)過面部表情修正后的用戶視頻圖像作為最終輸出。本發(fā)明提出的跨模態(tài)情感遷移方法及裝置，能夠根據(jù)用戶的語音情緒狀況，對該用戶的視頻圖像進(jìn)行相應(yīng)的表情修正，從而讓用戶的表情看上去更加生動而富有感染力，可有效提升在線視頻聊天或者在線教學(xué)的趣味性和互動性。??