一種基于Attention-LSTM網(wǎng)絡(luò)的視頻行為識別方法

基本信息

申請?zhí)?/td> CN201811397129.5 申請日 -
公開（公告）號 CN109740419B 公開（公告）日 2021-03-02
申請公布號 CN109740419B 申請公布日 2021-03-02
分類號 G06N3/08(2006.01)I;G06K9/00(2006.01)I;G06N3/04(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 陸生禮;龐偉;向麗蘋;范雪梅;舒程昊;吳成路;阮小千;梁彪;鄒濤 申請（專利權(quán)）人 南京三寶科技股份有限公司
代理機構(gòu) 南京經(jīng)緯專利商標(biāo)代理有限公司 代理人 施昊
地址 214135江蘇省無錫市新吳區(qū)菱湖大道99號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Attention?LSTM網(wǎng)絡(luò)的視頻行為識別方法。通過光流圖序列生成模塊對輸入的RGB圖序列進行變換，得到光流圖序列；將光流圖序列與原RGB圖序列輸入時域注意力取幀模塊，分別選取兩種圖序列中非冗余的關(guān)鍵幀；將兩種圖的關(guān)鍵幀序列輸入AlexNet網(wǎng)絡(luò)特征提取模塊，分別提取出兩種幀圖的時序特征和空間特征，通過特征分權(quán)加強模塊，對最后一層卷積層輸出的特征圖執(zhí)行加重與動作相關(guān)性強的特征權(quán)重的操作；將兩個AlexNet網(wǎng)絡(luò)特征提取模塊輸出的特征圖輸入LSTM網(wǎng)絡(luò)行為識別模塊，分別對兩種圖片進行識別，并將兩種識別結(jié)果通過融合模塊按比例融合，得到最終的視頻行為識別結(jié)果。本發(fā)明不僅能實現(xiàn)從視頻中識別行為的功能，且能提高識別的準(zhǔn)確率。??