一種視頻定位方法及裝置、模型訓(xùn)練方法及設(shè)備

基本信息

申請(qǐng)?zhí)?/td> CN202111139903.4 申請(qǐng)日 -
公開（公告）號(hào) CN113590874B 公開（公告）日 2022-02-11
申請(qǐng)公布號(hào) CN113590874B 申請(qǐng)公布日 2022-02-11
分類號(hào) G06F16/73（2019.01）I;G06F16/732（2019.01）I;G06F16/78（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 房體品;滕雋雅;盧憲凱;楊光遠(yuǎn) 申請(qǐng)（專利權(quán)）人 山東力聚機(jī)器人科技股份有限公司
代理機(jī)構(gòu) 北京中和立達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 祝妍
地址 276808山東省日照市嵐山區(qū)安東衛(wèi)街道玉泉二路99號(hào)（嵐山區(qū)科技孵化器電商創(chuàng)業(yè)園）
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種視頻定位方法及裝置、模型訓(xùn)練方法及設(shè)備。所述視頻定位方法包括：使用多尺度的時(shí)間滑動(dòng)窗口，對(duì)待定位視頻進(jìn)行片段劃分；對(duì)每個(gè)視頻片段以及查詢語句的每個(gè)單詞進(jìn)行特征提??；動(dòng)態(tài)獲取視頻模態(tài)與文本模態(tài)之間的注意力流；基于所述視頻模態(tài)與文本模態(tài)之間的注意力流，對(duì)每個(gè)視頻片段的特征和每個(gè)單詞的特征進(jìn)行更新；動(dòng)態(tài)獲取視頻模態(tài)內(nèi)的注意力流以及文本模態(tài)內(nèi)的注意力流，對(duì)每個(gè)視頻片段的特征和每個(gè)單詞特征；計(jì)算所述每個(gè)視頻片段與所述查詢語句的相似度分?jǐn)?shù)；選取相似度分?jǐn)?shù)最高的視頻片段作為視頻定位的結(jié)果。本發(fā)明不依賴于時(shí)間標(biāo)簽，且可以更深入的挖掘模態(tài)間交互信息，具有更好的普適性。