一種虛擬人物語音與口型同步的建模與控制方法

基本信息

申請?zhí)?/td> CN201810199537.3 申請日 -
公開(公告)號 CN108447474B 公開(公告)日 2018-08-24
申請公布號 CN108447474B 申請公布日 2018-08-24
分類號 G10L15/02(2006.01)I 分類 -
發(fā)明人 朱風(fēng)云;陳博;張志平;龐在虎 申請(專利權(quán))人 北京靈伴未來科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100083北京市海淀區(qū)王莊路1號B座5-C
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于語音合成領(lǐng)域的虛擬人物姿態(tài)控制,具體涉及一種虛擬人物語音與口型同步的建模與控制方法。目的是減少口型動畫數(shù)據(jù)標(biāo)注量,并獲得準(zhǔn)確、自然流暢并與聲音同步的口型動作。該方法包括:產(chǎn)生待同步語音對應(yīng)的音素序列;將音素序列轉(zhuǎn)換為音素類別序列;將音素類別序列轉(zhuǎn)換為靜態(tài)口型配置序列;通過動態(tài)模型將在時(shí)間軸上排布的靜態(tài)口型配置序列轉(zhuǎn)換為動態(tài)變化的口型配置;將動態(tài)變化的口型配置渲染成虛擬人物頭頸部的姿態(tài)形象,同步配合語音信號進(jìn)行展示。該方法可以不依賴于口型動畫數(shù)據(jù),并利用語音學(xué)先驗(yàn)知識和動態(tài)模型實(shí)現(xiàn)高效自然的虛擬人物口型同步控制。??