基于對比解耦元學(xué)習(xí)的非特定人的手語翻譯方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN202110913167.7 申請日 -
公開（公告）號 CN113361505A 公開（公告）日 2021-09-07
申請公布號 CN113361505A 申請公布日 2021-09-07
分類號 G06K9/00;G06K9/62;G06N3/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張?zhí)祚?趙洲 申請（專利權(quán)）人 杭州一知智能科技有限公司
代理機(jī)構(gòu) 杭州求是專利事務(wù)所有限公司 代理人 鄭海峰
地址 311200 浙江省杭州市蕭山區(qū)啟迪路198號杭州灣信息港F座7樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于對比解耦元學(xué)習(xí)的非特定人的手語翻譯方法和系統(tǒng)，屬于手語翻譯領(lǐng)域。分別用多個(gè)特定手語者和未知手語者標(biāo)記的手語視頻?目標(biāo)句子對來訓(xùn)練模型，為了適應(yīng)非特定人的條件，本發(fā)明提出新的框架—對比解耦元學(xué)習(xí)，該框架在模型架構(gòu)和訓(xùn)練模式上都進(jìn)行了改進(jìn)，通過解耦模塊分離編碼器中的特定手語者特征和特定任務(wù)特征，消除了與翻譯任務(wù)無關(guān)的信息，傳統(tǒng)方法中均沒有考慮這一點(diǎn)。此外，還利用獲得的特定任務(wù)特征和已生成單詞的自注意表示計(jì)算對比約束來促進(jìn)幀?詞對齊，通過解耦和對比約束為彼此提供互補(bǔ)信息。利用細(xì)粒度策略對模型進(jìn)行訓(xùn)練，在多種手語者自適應(yīng)場景下同時(shí)進(jìn)行元學(xué)習(xí)，能夠?qū)ξ粗氖终Z者提供準(zhǔn)確的翻譯結(jié)果。