一種基于動態(tài)注意力機制的多事件視頻描述方法

基本信息

申請?zhí)?/td> CN201911136308.8 申請日 -
公開（公告）號 CN110929092A 公開（公告）日 2020-03-27
申請公布號 CN110929092A 申請公布日 2020-03-27
分類號 G06F16/71;G06F16/78;G06F16/75;G06N3/04 分類 計算；推算；計數(shù);
發(fā)明人 謝洪平;劉迪;諸雅琴;黃濤;陳勇;杜長青;吳威;王昊;林東陽;陳喆 申請（專利權(quán)）人 金卯新能源集團(tuán)有限公司
代理機構(gòu) 南京匯盛專利商標(biāo)事務(wù)所（普通合伙） 代理人 國網(wǎng)江蘇省電力工程咨詢有限公司;東南大學(xué);金卯新能源集團(tuán)有限公司;國網(wǎng)江蘇省電力有限公司
地址 210000 江蘇省南京市鼓樓區(qū)北京西路22號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于動態(tài)注意力機制的多事件視頻描述方法，包括如下步驟：將視頻序列輸入三維卷積神經(jīng)網(wǎng)絡(luò)，提取視頻的視覺特征；采用基于注意力機制的視頻編碼層對視覺特征進(jìn)行編碼，并將特征編碼輸入到事件預(yù)測層；事件預(yù)測層根據(jù)視頻編碼信息對各個事件進(jìn)行預(yù)測；事件描述層根據(jù)事件預(yù)測結(jié)果獲取各事件視覺特征，并動態(tài)結(jié)合自身的上下文信息產(chǎn)生各事件的文字描述。所述方法克服了現(xiàn)有多事件視頻描述方法并行性差，效率低的缺點，同時保證了視頻描述生成的準(zhǔn)確性，并能夠采用端到端的方式進(jìn)行模型的訓(xùn)練。