基于唇語(yǔ)識(shí)別的匯編語(yǔ)言編輯器及識(shí)別方法

基本信息

申請(qǐng)?zhí)?/td> CN202110071673.6 申請(qǐng)日 -
公開（公告）號(hào) CN112817575A 公開（公告）日 2021-05-18
申請(qǐng)公布號(hào) CN112817575A 申請(qǐng)公布日 2021-05-18
分類號(hào) G06F8/30;G06K9/00;G06N3/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 蘭星;胡慶浩;冷聰 申請(qǐng)（專利權(quán)）人 中科方寸知微（南京）科技有限公司
代理機(jī)構(gòu) 南京泰普專利代理事務(wù)所（普通合伙） 代理人 竇賢宇
地址 211000 江蘇省南京市江寧區(qū)麒麟科技創(chuàng)新園創(chuàng)研路266號(hào)人工智能產(chǎn)業(yè)園3號(hào)樓203B室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于唇語(yǔ)識(shí)別的匯編語(yǔ)言編輯器及識(shí)別方法，包括明確變量名，作為關(guān)鍵字存儲(chǔ)在指令集中；劃分每條指令的動(dòng)作，寄存器，進(jìn)行每一條指令數(shù)據(jù)的采集。采集的數(shù)據(jù)都是一條語(yǔ)句，在實(shí)時(shí)測(cè)試的時(shí)候，需要整段話的輸入，所以對(duì)數(shù)據(jù)集需要做一個(gè)擴(kuò)充；使用設(shè)計(jì)好的網(wǎng)絡(luò)對(duì)數(shù)據(jù)集進(jìn)行端對(duì)端的訓(xùn)練，得出模型。對(duì)一段視頻幀進(jìn)行唇動(dòng)判斷，將每段話中語(yǔ)句劃分出來(lái)，過(guò)濾指令語(yǔ)句前后的空白幀，提取出每條指令幀序列；將每條指令幀序列作為網(wǎng)絡(luò)的輸入，預(yù)測(cè)出對(duì)應(yīng)的指令，輸出到編輯器上，并且模型的預(yù)測(cè)和指令幀序列的提取可以異步實(shí)現(xiàn)，達(dá)到實(shí)時(shí)的效果。相較于語(yǔ)音識(shí)別需要在噪音干擾較小環(huán)境下才能作用的缺點(diǎn)，在復(fù)雜背景下也可以正常工作。