一種中文線索語(yǔ)生成方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202210234048.3 申請(qǐng)日 -
公開（公告）號(hào) CN114626339A 公開（公告）日 2022-06-14
申請(qǐng)公布號(hào) CN114626339A 申請(qǐng)公布日 2022-06-14
分類號(hào) G06F40/126（2020.01）I;G06F3/01（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V40/20（2022.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉李;馮鋼 申請(qǐng)（專利權(quán)）人 深圳市大數(shù)據(jù)研究院
代理機(jī)構(gòu) 深圳市恒和大知識(shí)產(chǎn)權(quán)代理有限公司 代理人 -
地址 518000廣東省深圳市龍崗區(qū)龍城街道龍翔大道2001號(hào)道遠(yuǎn)樓225室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種中文線索語(yǔ)生成方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，其方法包括：分析并確定待編碼元音以及待編碼輔音；采集待編碼元音以及所述待編碼輔音對(duì)應(yīng)的唇讀視頻數(shù)據(jù)集，將唇讀視頻數(shù)據(jù)集轉(zhuǎn)換為多張圖片；將圖片輸入到預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行計(jì)算，獲取每個(gè)待編碼元音或待編碼輔音對(duì)應(yīng)的內(nèi)嘴唇參數(shù)；將內(nèi)嘴唇參數(shù)輸入至預(yù)設(shè)高斯模型中進(jìn)行計(jì)算，確定每個(gè)待編碼元音對(duì)應(yīng)的手部編碼位置，及每個(gè)待編碼輔音對(duì)應(yīng)的手形；通過頭部運(yùn)動(dòng)狀態(tài)對(duì)音調(diào)進(jìn)行編碼，獲取每個(gè)頭部運(yùn)行狀態(tài)對(duì)應(yīng)的音調(diào)，以形成手部編碼位置以及手形，配合頭部的運(yùn)動(dòng)狀態(tài)的中文線索語(yǔ)。提供了一套魯棒、高效，優(yōu)化的中文線索語(yǔ)。