一種深度自適應(yīng)多模態(tài)哈希檢索方法及相關(guān)設(shè)備

基本信息

申請?zhí)?/td> CN202210284064.3 申請日 -
公開（公告）號 CN114691897A 公開（公告）日 2022-07-01
申請公布號 CN114691897A 申請公布日 2022-07-01
分類號 G06F16/41（2019.01）I;G06F16/432（2019.01）I;G06F16/48（2019.01）I;G06N3/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張正;安峻楓;盧光明 申請（專利權(quán)）人 哈爾濱工業(yè)大學(xué)（深圳）（哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院）
代理機(jī)構(gòu) 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 -
地址 518055廣東省深圳市南山區(qū)桃源街道深圳大學(xué)城哈爾濱工業(yè)大學(xué)校區(qū)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了深度自適應(yīng)多模態(tài)哈希檢索方法及相關(guān)設(shè)備，本發(fā)明提供的方法，在面向多模態(tài)數(shù)據(jù)的哈希學(xué)習(xí)過程中先根據(jù)每一個(gè)模態(tài)數(shù)據(jù)的物理特性和特質(zhì)，設(shè)計(jì)各自模態(tài)數(shù)據(jù)的特征學(xué)習(xí)網(wǎng)絡(luò)，根據(jù)每次投入學(xué)習(xí)的訓(xùn)練樣本中各個(gè)模態(tài)對最終共有特征的性能所做貢獻(xiàn)大小，對每一個(gè)模態(tài)特征確定可學(xué)習(xí)的權(quán)重，根據(jù)權(quán)重來對各個(gè)模態(tài)的特征進(jìn)行融合，實(shí)現(xiàn)了根據(jù)訓(xùn)練樣本自身特性完成自適應(yīng)權(quán)重的信息融合；使融合后的共有特征與哈希碼的差異最小化，此過程加入從預(yù)設(shè)標(biāo)簽中提取的可伸縮語義特征，對哈希函數(shù)的參數(shù)進(jìn)行自動(dòng)更新，實(shí)現(xiàn)了特征空間與哈?？臻g的對齊，使用標(biāo)簽語義信息監(jiān)督參數(shù)更新，能夠提升多模態(tài)特征自適應(yīng)融合能力和哈希學(xué)習(xí)的判別性表征能力。