基于多媒體語義解析的監(jiān)控視頻智能預(yù)警方法

基本信息

申請?zhí)?/td> CN202110447507.1 申請日 -
公開（公告）號 CN113111837A 公開（公告）日 2021-07-13
申請公布號 CN113111837A 申請公布日 2021-07-13
分類號 G06K9/00（2006.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 胡宇鵬;賈永坡;高贊;宋雪萌;尹建華;李毅仁;聶禮強 申請（專利權(quán)）人 河鋼集團有限公司
代理機構(gòu) 濟南泉城專利商標(biāo)事務(wù)所 代理人 支文彬
地址 250013山東省濟南市歷下區(qū)科院路19號
法律狀態(tài) -

摘要

摘要 一種基于多媒體語義解析的監(jiān)控視頻智能預(yù)警方法，通過建立跨模態(tài)語義對齊模型對視頻中所包含的復(fù)雜對象與交互進行準(zhǔn)確理解，并生成視頻片段時空位置圖和視頻語義樹，另一方面，引入基于雙向長短時記憶網(wǎng)絡(luò)的文本編碼模塊，對查詢語句中的文本語義進行深刻理解與表征。實現(xiàn)多模態(tài)特征向共空間的特征映射與融合，并利用語義剪枝策略，粗粒度篩選出精煉的“視頻片段?查詢語句”對，進行細(xì)粒度語義匹配計算，從而確?？缒B(tài)視頻定位的精度與效率。