基于局部-整體圖推理網絡的視頻-段落檢索方法及系統

基本信息

申請?zhí)?/td> CN202110755476.6 申請日 -
公開（公告）號 CN113204674B 公開（公告）日 2021-09-17
申請公布號 CN113204674B 申請公布日 2021-09-17
分類號 G06F16/783（2019.01）I;G06F40/30（2020.01）I;G06N5/04（2006.01）I 分類 計算；推算；計數;
發(fā)明人 張鵬程 申請（專利權）人 杭州一知智能科技有限公司
代理機構 杭州求是專利事務所有限公司 代理人 鄭海峰
地址 311200浙江省杭州市蕭山區(qū)啟迪路198號杭州灣信息港F座7樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于局部?整體圖推理網絡的視頻?段落檢索方法及系統，屬于跨模態(tài)檢索領域，主要包括以下步驟：1）首先對視頻和文本（段落）進行預處理。2）針對給定的視頻和文本分別使用局部?整體圖推理網絡進行編碼，得到最終的視頻特征和文本特征。3）使用余弦相似度計算視頻特征和文本特征之間的相似度。4）根據相似度度量結果進行檢索。相比于傳統視頻?段落檢索的方法，本發(fā)明提出將視頻和文本分別分解為四層語義結構，并且分別構造成局部圖和整體圖，進而使用圖卷積網絡進行圖推理操作，本發(fā)明在視頻?段落檢索中所取得的結果相比于傳統方法更好。