一種虛擬人講課視頻生成方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110434673.8 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113194348A 公開(kāi)（公告）日 2021-07-30
申請(qǐng)公布號(hào) CN113194348A 申請(qǐng)公布日 2021-07-30
分類號(hào) H04N21/43（2011.01）I;H04N21/8547（2011.01）I;H04N21/44（2011.01）I;G10L13/02（2013.01）I;G06K9/00（2006.01）I;G06F40/279（2020.01）I;G06T13/40（2011.01）I 分類 電通信技術(shù);
發(fā)明人 李權(quán);王倫基;葉俊杰;朱杰;成秋喜;韓藍(lán)青 申請(qǐng)（專利權(quán)）人 賽業(yè)（廣州）生物科技有限公司
代理機(jī)構(gòu) 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 代理人 ?？玛?yáng)
地址 510530廣東省廣州市黃埔區(qū)香雪八路98號(hào)香雪國(guó)際公寓F棟
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)一種虛擬人講課視頻生成方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)，包括：獲取講稿內(nèi)容，將講稿內(nèi)容轉(zhuǎn)換為語(yǔ)音，并根據(jù)講稿內(nèi)容生成講稿視頻；根據(jù)講稿內(nèi)容或語(yǔ)音匹配出人物動(dòng)作；將語(yǔ)音、人物動(dòng)作輸入至高清視頻人物同步唇形模型，得到與語(yǔ)音同步的人臉唇形圖像序列；將虛擬人老師形象以及人臉唇形圖像序列輸入至視頻驅(qū)動(dòng)虛擬人物模型，得到高清虛擬人講課視頻；將高清虛擬人講課視頻輸入視頻摳圖模型，得到無(wú)背景虛擬人講課視頻；將無(wú)背景虛擬人講課視頻嵌入至講稿視頻中，得到虛擬人老師講課視頻。本發(fā)明只需要一份講稿和一張?zhí)摂M人老師形象，即可生成生動(dòng)形象的虛擬人老師講課視頻，大大縮短視頻課程內(nèi)容制作與打磨的時(shí)間。本發(fā)明可廣泛應(yīng)用于教學(xué)技術(shù)領(lǐng)域內(nèi)。