一種基于seq2seq網(wǎng)絡(luò)的歌詞對齊方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202010059082.2 申請日 -
公開（公告）號 CN111259188A 公開（公告）日 2020-06-09
申請公布號 CN111259188A 申請公布日 2020-06-09
分類號 G06F16/61(2019.01)I 分類 計算；推算；計數(shù);
發(fā)明人 尹學(xué)淵;劉鑫忠;江天宇 申請（專利權(quán)）人 成都嗨翻屋科技有限公司
代理機構(gòu) 成都睿道專利代理事務(wù)所（普通合伙） 代理人 成都嗨翻屋科技有限公司
地址 610041四川省成都市高新區(qū)益州大道中段722號1幢1單元12層1201號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于seq2seq網(wǎng)絡(luò)的歌詞對齊方法及系統(tǒng)，方法包括：對歌詞進行處理得到歌詞向量，對音頻進行處理得到起止時間與歌詞對應(yīng)的人聲頻譜圖；采用seq2seq網(wǎng)絡(luò)模型對歌詞向量和對應(yīng)的頻譜圖進行處理，得到輸入歌詞的注意力矩陣；將注意力矩陣整合解析為字符級別的對齊結(jié)果，得到歌詞每個字的開始時間和結(jié)束時間。系統(tǒng)包括數(shù)據(jù)處理模塊對歌詞進行處理得到歌詞向量，對音頻進行處理得到起止時間與歌詞對應(yīng)的人聲頻譜圖；數(shù)據(jù)預(yù)測模塊采用網(wǎng)絡(luò)模型對歌詞向量和對應(yīng)的頻譜圖進行處理，得到輸入歌詞的注意力矩陣；對齊結(jié)果解析模塊用于將注意力矩陣整合解析為字符級別的對齊結(jié)果，得到歌詞每個字的開始時間和結(jié)束時間。??