基于骨架視頻的行為識別方法

基本信息

申請?zhí)?/td> CN201910511925.5 申請日 -
公開(公告)號 CN110309732B 公開(公告)日 2021-04-06
申請公布號 CN110309732B 申請公布日 2021-04-06
分類號 G06N3/08(2006.01)I;G06K9/00(2006.01)I;G06N3/04(2006.01)I 分類 計算;推算;計數(shù);
發(fā)明人 葉帆帆;唐慧明;陳明芽 申請(專利權(quán))人 華雁智科(杭州)信息技術(shù)有限公司
代理機構(gòu) 杭州宇信知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 王健
地址 310058浙江省杭州市西湖區(qū)余杭塘路866號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于骨架視頻的行為識別方法,方法流程包括:通過對數(shù)據(jù)集中的每一段視頻抽幀得到視頻訓(xùn)練樣本,并提取各幀的骨架關(guān)節(jié)點信息;根據(jù)骨架關(guān)節(jié)點物理連接關(guān)系初始化骨架關(guān)節(jié)點連接關(guān)系矩陣,以初步訓(xùn)練空間域圖卷積神經(jīng)網(wǎng)絡(luò);在空間域圖卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)固定之后,通過空間域圖卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練骨架關(guān)節(jié)點關(guān)系推理網(wǎng)絡(luò),得到新的骨架關(guān)節(jié)點連接關(guān)系矩陣;通過新的骨架關(guān)節(jié)點連接關(guān)系矩陣更新空間域圖卷積神經(jīng)網(wǎng)絡(luò)的參數(shù);應(yīng)用時,對待識視頻抽幀和提取骨架關(guān)節(jié)點信息后送入骨架關(guān)節(jié)點關(guān)系推理網(wǎng)絡(luò)得到骨架關(guān)節(jié)點連接關(guān)系矩陣,將抽幀后的視頻和骨架關(guān)節(jié)點連接關(guān)系矩陣送入更新后的空間域圖卷積神經(jīng)網(wǎng)絡(luò),以得到行人行為類別。??