一種手語(yǔ)識(shí)別和翻譯方法

基本信息

申請(qǐng)?zhí)?/td> CN202011356115.6 申請(qǐng)日 -
公開（公告）號(hào) CN112487951A 公開（公告）日 2021-03-12
申請(qǐng)公布號(hào) CN112487951A 申請(qǐng)公布日 2021-03-12
分類號(hào) G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06F40/58 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 尹啟坊;李凌;劉云云;辜嘉 申請(qǐng)（專利權(quán)）人 深圳市熱麗泰和生命科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 518000 廣東省深圳市南山區(qū)招商街道南海大道1077號(hào)北科創(chuàng)業(yè)大廈601室
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于手語(yǔ)識(shí)別和翻譯技術(shù)領(lǐng)域，尤其公開了一種手語(yǔ)識(shí)別和翻譯方法，現(xiàn)提出如下方案，包括特征提取模塊、序列學(xué)習(xí)模塊、損失優(yōu)化模塊和解碼模塊，所述特征提取模塊主要負(fù)責(zé)先后提取每個(gè)視頻幀的靜態(tài)特征和相鄰幀的連續(xù)特征。本發(fā)明添加了關(guān)鍵點(diǎn)特征學(xué)習(xí)部分選擇的關(guān)鍵點(diǎn)有8個(gè)，其中額頭關(guān)鍵點(diǎn)和脖子關(guān)鍵點(diǎn)用來檢測(cè)頭部運(yùn)動(dòng)，提高了特定場(chǎng)景下的手語(yǔ)翻譯的精度。本發(fā)明聯(lián)合優(yōu)化損失策略、關(guān)鍵點(diǎn)損失優(yōu)化函數(shù)和CTC損失函數(shù)相加作為最終損失函數(shù)的損失優(yōu)化策略，可以直接安裝在手機(jī)上實(shí)時(shí)運(yùn)行，這將不僅僅可以提高產(chǎn)品的易用性，還可以大大減小手語(yǔ)翻譯的應(yīng)用和推廣成本。