一種基于跨模態(tài)注意力機制的雙流視頻分類方法和裝置

基本信息

申請?zhí)?/td> CN201910294018.X 申請日 -
公開（公告）號 CN110188239B 公開（公告）日 2021-06-22
申請公布號 CN110188239B 申請公布日 2021-06-22
分類號 G06F16/75;G06F16/73;G06K9/62;G06N3/04 分類 計算；推算；計數(shù);
發(fā)明人 遲祿;嚴慧;田貴宇;穆亞東;陳剛;王成成;黃波;韓峻;糜俊青 申請（專利權）人 中星微技術股份有限公司
代理機構 北京君尚知識產(chǎn)權代理有限公司 代理人 邱曉鋒
地址 100871 北京市海淀區(qū)頤和園路5號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于跨模態(tài)注意力機制的雙流視頻分類方法和裝置。與傳統(tǒng)的雙流方法不同，本發(fā)明在預測結果之前就將兩個模態(tài)（甚至更多模態(tài)）的信息進行了融合，因此能夠更加高效充分，同時，由于在較早階段就進行了信息交互，單個分支在后階段已經(jīng)具有了另一分支的重要信息，單分支的精度已經(jīng)與傳統(tǒng)雙流方法持平甚至超過，單分支的參數(shù)量要比傳統(tǒng)雙流方法少很多；相比非局部神經(jīng)網(wǎng)絡，本發(fā)明設計的注意力模塊能夠跨模態(tài)，而不僅僅只在單模態(tài)內(nèi)部使用注意力機制，本發(fā)明提出的方法在兩個模態(tài)相同的情況下其效果等價于非局部神經(jīng)網(wǎng)絡。