一種基于跨模態(tài)注意力機(jī)制的雙流視頻分類方法和裝置

基本信息

申請?zhí)?/td> CN201910294018.X 申請日 -
公開（公告）號 CN110188239A 公開（公告）日 2021-06-22
申請公布號 CN110188239A 申請公布日 2021-06-22
分類號 G06F16/75;G06F16/73;G06K9/62;G06N3/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 遲祿;嚴(yán)慧;田貴宇;穆亞東;陳剛;王成成;黃波;韓峻;糜俊青 申請（專利權(quán)）人 中星微技術(shù)股份有限公司
代理機(jī)構(gòu) 北京君尚知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 邱曉鋒
地址 100871 北京市海淀區(qū)頤和園路5號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于跨模態(tài)注意力機(jī)制的雙流視頻分類方法和裝置。與傳統(tǒng)的雙流方法不同，本發(fā)明在預(yù)測結(jié)果之前就將兩個(gè)模態(tài)（甚至更多模態(tài)）的信息進(jìn)行了融合，因此能夠更加高效充分，同時(shí)，由于在較早階段就進(jìn)行了信息交互，單個(gè)分支在后階段已經(jīng)具有了另一分支的重要信息，單分支的精度已經(jīng)與傳統(tǒng)雙流方法持平甚至超過，單分支的參數(shù)量要比傳統(tǒng)雙流方法少很多；相比非局部神經(jīng)網(wǎng)絡(luò)，本發(fā)明設(shè)計(jì)的注意力模塊能夠跨模態(tài)，而不僅僅只在單模態(tài)內(nèi)部使用注意力機(jī)制，本發(fā)明提出的方法在兩個(gè)模態(tài)相同的情況下其效果等價(jià)于非局部神經(jīng)網(wǎng)絡(luò)。