基于兩分支提議網(wǎng)絡(luò)的弱監(jiān)督視頻時(shí)段檢索方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202011332463.X 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN112417206B 公開(kāi)（公告）日 2021-09-24
申請(qǐng)公布號(hào) CN112417206B 申請(qǐng)公布日 2021-09-24
分類號(hào) G06F16/735;G06F16/78;G06F16/783 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 童鑫遠(yuǎn) 申請(qǐng)（專利權(quán)）人 杭州一知智能科技有限公司
代理機(jī)構(gòu) 杭州求是專利事務(wù)所有限公司 代理人 鄭海峰
地址 311200 浙江省杭州市蕭山區(qū)啟迪路198號(hào)杭州灣信息港F座7樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于兩分支提議網(wǎng)絡(luò)的弱監(jiān)督視頻時(shí)段檢索方法及系統(tǒng)，屬于視頻檢索領(lǐng)域。主要包括如下步驟：1）針對(duì)于一組視頻、描述文本訓(xùn)練集，根據(jù)一個(gè)跨模態(tài)語(yǔ)言感知過(guò)濾器，學(xué)習(xí)出視頻信息和文本信息的聯(lián)合表征，并生成帶文本信息的增強(qiáng)視頻流與抑制視頻流。2）對(duì)于跨模態(tài)語(yǔ)言感知過(guò)濾器生成的輸出，根據(jù)一個(gè)參數(shù)共享的正則化兩分支提議網(wǎng)絡(luò)，輸出針對(duì)于視頻和文本聯(lián)合表達(dá)的時(shí)段答案。本發(fā)明采用一種使用基于場(chǎng)景的跨模態(tài)估計(jì)法的語(yǔ)言感知過(guò)濾器生成增強(qiáng)視頻流和抑制視頻流，采用一種新穎的兩分支提議網(wǎng)絡(luò)同時(shí)考慮樣本間和樣本內(nèi)的對(duì)抗，采用提議正則化策略穩(wěn)定訓(xùn)練過(guò)程，有效地改善了模型性能。