一種虛擬人物語音與口型同步的建模與控制方法

基本信息

申請(qǐng)?zhí)?/td> CN201810199537.3 申請(qǐng)日 -
公開（公告）號(hào) CN108447474A 公開（公告）日 2018-08-24
申請(qǐng)公布號(hào) CN108447474A 申請(qǐng)公布日 2018-08-24
分類號(hào) G10L15/02;G10L15/06;G10L15/25;G10L13/02;G10L13/04 分類 樂器；聲學(xué);
發(fā)明人 朱風(fēng)云;陳博;張志平;龐在虎 申請(qǐng)（專利權(quán)）人 北京靈伴未來科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100083 北京市海淀區(qū)王莊路1號(hào)B座5-C
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于語音合成領(lǐng)域的虛擬人物姿態(tài)控制，具體涉及一種虛擬人物語音與口型同步的建模與控制方法。目的是減少口型動(dòng)畫數(shù)據(jù)標(biāo)注量，并獲得準(zhǔn)確、自然流暢并與聲音同步的口型動(dòng)作。該方法包括：產(chǎn)生待同步語音對(duì)應(yīng)的音素序列；將音素序列轉(zhuǎn)換為音素類別序列；將音素類別序列轉(zhuǎn)換為靜態(tài)口型配置序列；通過動(dòng)態(tài)模型將在時(shí)間軸上排布的靜態(tài)口型配置序列轉(zhuǎn)換為動(dòng)態(tài)變化的口型配置；將動(dòng)態(tài)變化的口型配置渲染成虛擬人物頭頸部的姿態(tài)形象，同步配合語音信號(hào)進(jìn)行展示。該方法可以不依賴于口型動(dòng)畫數(shù)據(jù)，并利用語音學(xué)先驗(yàn)知識(shí)和動(dòng)態(tài)模型實(shí)現(xiàn)高效自然的虛擬人物口型同步控制。