一種基于Attention-LSTM網絡的視頻行為識別方法

基本信息

申請?zhí)?/td> CN201811397129.5 申請日 -
公開（公告）號 CN109740419A 公開（公告）日 2019-05-10
申請公布號 CN109740419A 申請公布日 2019-05-10
分類號 G06K9/00（2006.01）I; G06N3/04（2006.01）I; G06N3/08（2006.01）I 分類 計算；推算；計數;
發(fā)明人 陸生禮; 龐偉; 向麗蘋; 范雪梅; 舒程昊; 吳成路; 阮小千; 梁彪; 鄒濤 申請（專利權）人 南京三寶科技股份有限公司
代理機構 南京經緯專利商標代理有限公司 代理人 施昊
地址 214135 江蘇省無錫市新吳區(qū)菱湖大道99號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Attention?LSTM網絡的視頻行為識別方法。通過光流圖序列生成模塊對輸入的RGB圖序列進行變換，得到光流圖序列；將光流圖序列與原RGB圖序列輸入時域注意力取幀模塊，分別選取兩種圖序列中非冗余的關鍵幀；將兩種圖的關鍵幀序列輸入AlexNet網絡特征提取模塊，分別提取出兩種幀圖的時序特征和空間特征，通過特征分權加強模塊，對最后一層卷積層輸出的特征圖執(zhí)行加重與動作相關性強的特征權重的操作；將兩個AlexNet網絡特征提取模塊輸出的特征圖輸入LSTM網絡行為識別模塊，分別對兩種圖片進行識別，并將兩種識別結果通過融合模塊按比例融合，得到最終的視頻行為識別結果。本發(fā)明不僅能實現從視頻中識別行為的功能，且能提高識別的準確率。