基于時(shí)空?qǐng)D的人體骨骼動(dòng)作識(shí)別方法

基本信息

申請(qǐng)?zhí)?/td> CN202210424128.5 申請(qǐng)日 -
公開（公告）號(hào) CN114550308B 公開（公告）日 2022-07-05
申請(qǐng)公布號(hào) CN114550308B 申請(qǐng)公布日 2022-07-05
分類號(hào) G06V40/20（2022.01）I;G06V10/42（2022.01）I;G06V10/44（2022.01）I;G06V10/77（2022.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 鄒茂揚(yáng);萬輝帆;潘光暉 申請(qǐng)（專利權(quán)）人 成都信息工程大學(xué)
代理機(jī)構(gòu) 西安正華恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 -
地址 610225四川省成都市雙流區(qū)西南航空港經(jīng)濟(jì)開發(fā)區(qū)學(xué)府路一段24號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于時(shí)空?qǐng)D的人體骨骼動(dòng)作識(shí)別方法，包括以下步驟：S1、獲取骨骼數(shù)據(jù)，并對(duì)所述骨骼數(shù)據(jù)進(jìn)行預(yù)處理，得到二階數(shù)據(jù)信息；S2、將二階數(shù)據(jù)信息輸入多分支網(wǎng)絡(luò)，得到骨骼數(shù)據(jù)提取信息；S3、將骨骼數(shù)據(jù)提取信息輸入時(shí)空特征提取網(wǎng)絡(luò)，得到骨骼數(shù)據(jù)的時(shí)空特征信息；S4、將骨骼數(shù)據(jù)的時(shí)空特征信息依次輸入全局平均池化層和全連接層，得到置信度最高的動(dòng)作，完成人體骨骼動(dòng)作識(shí)別。本發(fā)明設(shè)計(jì)了時(shí)空?qǐng)D模塊引入Transformer結(jié)構(gòu)，可以更好捕捉若干幀內(nèi)全局的時(shí)空關(guān)系，利用其注意力機(jī)制自適應(yīng)的學(xué)習(xí)跨幀節(jié)點(diǎn)間關(guān)聯(lián)性的強(qiáng)度，并且利用圖卷積根據(jù)固定圖結(jié)構(gòu)捕捉局部的空間特征。兩者信息相互補(bǔ)充，從而使得信息能夠直接的跨時(shí)空交流。