端到端的智能語音朗讀評測方法

基本信息

申請?zhí)?/td> CN202010627043.8 申請日 -
公開(公告)號 CN111883176A 公開(公告)日 2020-11-03
申請公布號 CN111883176A 申請公布日 2020-11-03
分類號 G10L25/51(2013.01)I 分類 樂器;聲學(xué);
發(fā)明人 張展;王曰海 申請(專利權(quán))人 浙江大學(xué)紹興微電子研究中心
代理機構(gòu) 杭州君度專利代理事務(wù)所(特殊普通合伙) 代理人 浙江大學(xué)紹興微電子研究中心;浙江大學(xué);紹興市科技創(chuàng)業(yè)投資有限公司
地址 312000浙江省紹興市越城區(qū)皋埠鎮(zhèn)銀橋路326號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了端到端的智能語音朗讀評測方法,包括:收集用于訓(xùn)練評測神經(jīng)網(wǎng)絡(luò)的朗讀語音、目標(biāo)發(fā)音、錯誤代碼、說話人信息的數(shù)據(jù)處理流程;針對說話人特征,對評測神經(jīng)網(wǎng)絡(luò)進(jìn)行輔助訓(xùn)練;根據(jù)待評測的目標(biāo)發(fā)音與待評測發(fā)音,直接由神經(jīng)網(wǎng)絡(luò)端到端輸出評測結(jié)果,從輸入目標(biāo)發(fā)音與待評測發(fā)音,到輸出評測結(jié)果,整個流程可微分,可直接針對評測指標(biāo)進(jìn)行優(yōu)化。本發(fā)明直接構(gòu)建輸入為語音和待評測文本、輸出為反饋結(jié)果的端到端評測模式,可與方法中的各個模塊聯(lián)合訓(xùn)練使得整體效果更好,另外該方法構(gòu)建的輔助任務(wù)能夠更準(zhǔn)確的提取評測相關(guān)特征,使得反饋的評測結(jié)果更為準(zhǔn)確。??