一種基于骨骼和RGB幀融合的行為識別方法、裝置及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110242365.5 申請日 -
公開（公告）號 CN112906604A 公開（公告）日 2021-06-04
申請公布號 CN112906604A 申請公布日 2021-06-04
分類號 G06K9/00;G06K9/62;G06T17/00 分類 計算；推算；計數;
發(fā)明人 黃煒;顏天信 申請（專利權）人 安徽省科億信息科技有限公司
代理機構 合肥律眾知識產權代理有限公司 代理人 趙娟
地址 230000 安徽省合肥市黃山路602號國家大學科技園創(chuàng)業(yè)孵化中心
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于骨骼和RGB幀融合的行為識別方法、裝置及系統(tǒng)，該方法包括利用RGB相機獲取人體動作的RGB視頻和深度相機獲取深度圖像和3D骨骼數據，建立行為識別數據集；將行為識別數據集進行預處理；利用時空圖卷積神經網絡ST?GCN提取骨骼數據特征，利用輕量級GhostNet提取RGB幀數據特征；搭建骨骼和RGB幀在特征層面交互的網絡；用訓練集訓練網絡，優(yōu)化參數，得到基于骨骼和RGB幀融合的行為識別網絡；將所要識別的人體動作信息輸入到行為識別網絡進行預測，輸出對應的動作類別。本發(fā)明提供了一種基于骨骼和RGB幀融合的行為識別方法，能夠充分挖掘骨骼和RGB幀的互補信息，以一種輕量化的方式進一步提高了動作識別的準確率。