基于深度學習的實時手勢識別方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110574202.7 申請日 -
公開（公告）號 CN113269089A 公開（公告）日 2021-08-17
申請公布號 CN113269089A 申請公布日 2021-08-17
分類號 G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06F3/01 分類 計算；推算；計數(shù);
發(fā)明人 宋海濤;盛斌;王資凱;王天逸;譚峰;李佳佳;趙亦博;鞠睿 申請（專利權）人 上海人工智能研究院有限公司
代理機構 重慶航圖知識產(chǎn)權代理事務所（普通合伙） 代理人 孫方
地址 200000 上海市閔行區(qū)劍川路930號3幢201室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于深度學習的實時手勢識別方法及系統(tǒng)，包括以下步驟：采集圖像并利用目標檢測網(wǎng)絡提取所述圖像中的手部深度圖像；將手部深度圖像轉(zhuǎn)化成3D體素化數(shù)據(jù)，并輸入到V2V?PoseNet網(wǎng)絡中獲得手部關鍵點數(shù)據(jù)；所述V2V?PoseNet網(wǎng)絡為進行剪枝處理的V2V?PoseNet網(wǎng)絡；對手部關鍵點數(shù)據(jù)進行預處理后輸入到分類網(wǎng)絡進行手勢動作分類得到手勢類別。本發(fā)明提供的方法中結合前沿的深度學習模型，避免了引入人工定義特征，模型泛化能力和表達能力較強，擴展性良好。對于系統(tǒng)中使用到的現(xiàn)有模型根據(jù)任務的需要進行了剪枝和優(yōu)化，在不影響精度的前提下提高了模型的速度。在數(shù)據(jù)集MSRAHand上的關鍵點檢測和動作分類效果良好。