一種基于三維卷積的時空特征多層次融合的行為識別方法

基本信息

申請?zhí)?/td> CN202210166930.9 申請日 -
公開（公告）號 CN114677704A 公開（公告）日 2022-06-28
申請公布號 CN114677704A 申請公布日 2022-06-28
分類號 G06V40/10（2022.01）I;G06V40/20（2022.01）I;G06V10/44（2022.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I;G06V10/80（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 張清芳;韓楓;梁偉;楊璐瑤;鄧鑫;劉征奇;郭競;許鵬飛 申請（專利權(quán)）人 西北大學
代理機構(gòu) 西安恒泰知識產(chǎn)權(quán)代理事務所 代理人 -
地址 710069陜西省西安市太白北路229號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于三維卷積的時空特征多層次融合的行為識別方法，該方法針對行為識別任務中視頻能夠提供更加豐富特征信息，采用三維卷積核以及時間和空間雙流框架作為網(wǎng)絡(luò)主干，其中一個分支提取視頻時間特征，另外一個分支提取視頻的空間特征。在不同的行為中，考慮到視頻中的行為小目標在識別網(wǎng)絡(luò)中的高層網(wǎng)絡(luò)部分容易特征丟失，快節(jié)奏的行為不容易被網(wǎng)絡(luò)感受，提出了將不同感受野上的時間和空間區(qū)域的特征均考慮進網(wǎng)絡(luò)。以多層特征融合模塊來均衡空間特征和時間特征對于最后行為分類結(jié)果的影響，充分利用提取到的多層次特征。該方法提取視頻中的時間和空間特征，并對其進行融合和行為識別，相較于現(xiàn)有相關(guān)行為識別方法，具有更高的準確性。