一種ARM側(cè)離線語音合成的方法、裝置及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110599311.4 申請(qǐng)日 -
公開（公告）號(hào) CN113362803A 公開（公告）日 2021-09-07
申請(qǐng)公布號(hào) CN113362803A 申請(qǐng)公布日 2021-09-07
分類號(hào) G10L13/08（2013.01）I;G10L25/18（2013.01）I;G10L25/30（2013.01）I 分類 樂器；聲學(xué);
發(fā)明人 張毅;胡奎;姜黎 申請(qǐng)（專利權(quán)）人 杭州芯聲智能科技有限公司
代理機(jī)構(gòu) 成都知都云專利代理事務(wù)所（普通合伙） 代理人 趙正寅
地址 310000浙江省杭州市杭州經(jīng)濟(jì)技術(shù)開發(fā)區(qū)白楊街道科技園路20號(hào)14幢3層02室-15
法律狀態(tài) -

摘要

摘要 本發(fā)明提供的一種ARM側(cè)離線語音合成的方法、裝置及存儲(chǔ)介質(zhì)，涉及語音合成技術(shù)領(lǐng)域。本發(fā)明通過對(duì)ARM側(cè)設(shè)備部署音素序列生成器、音素—時(shí)間標(biāo)簽序列生成器、聲學(xué)特征生成器和聲碼器來進(jìn)行離線語音合成，通過對(duì)ARM側(cè)設(shè)備部署的各生成器進(jìn)行進(jìn)行Python toc/c++porting重編譯和對(duì)Tensorflow平臺(tái)的32位float型模型浮點(diǎn)參數(shù)進(jìn)行量化壓縮，使ARM側(cè)設(shè)備能夠快速進(jìn)行離線語音合成且達(dá)到節(jié)省ARM側(cè)設(shè)備所需部署空間、降低ARM側(cè)設(shè)備運(yùn)算要求的目的；通過通過將MelGAN模型作為神經(jīng)網(wǎng)絡(luò)聲碼模型，達(dá)到了提升訓(xùn)練速率，在沒有額外的蒸餾和感知損失的引入下仍能產(chǎn)生高質(zhì)量的語音合成模型；將Fastspeech 2模型神經(jīng)網(wǎng)絡(luò)聲學(xué)特征生成模型能達(dá)到升模型訓(xùn)練速率和增加了數(shù)據(jù)的豐富度避免過多的信息損失的目的。