一種基于多模態(tài)差異性融合網(wǎng)絡(luò)的RGB-D顯著性目標(biāo)檢測方法

基本信息

申請?zhí)?/td> CN202210308520.3 申請日 -
公開（公告）號 CN114693952A 公開（公告）日 2022-07-01
申請公布號 CN114693952A 申請公布日 2022-07-01
分類號 G06V10/46（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I;G06V10/774（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 夏晨星;段松松;黃榮梅;孫延光;段秀真;王晶晶 申請（專利權(quán)）人 安徽理工大學(xué)
代理機構(gòu) - 代理人 -
地址 232001安徽省淮南市山南新區(qū)泰豐大街168號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于多模態(tài)差異性融合網(wǎng)絡(luò)的RGB?D顯著性目標(biāo)檢測方法，屬于圖像顯著性檢測技術(shù)，所述方法利用Swin Transformer提取包含全局上下文信息的RGB和Depth特征，用于給出場景的顯著性目標(biāo)推理。本發(fā)明主要通過探索RGB和Depth模態(tài)之間的差異性分析顯著性在這兩個模態(tài)的聯(lián)系和區(qū)別，并設(shè)計一個差異性融合網(wǎng)絡(luò)融合跨模態(tài)特征用于捕獲完整的顯著目標(biāo)。本發(fā)明包括以下幾個步驟：（1）采用Swin Transformer提取跨模態(tài)特征；（2）使用雙向融合方式融合RGB和Depth特征生成Fusion流；（3）使用三流差異性監(jiān)督機制獲取模態(tài)之間差異性；（4）利用該差異性融合跨模態(tài)特征；（5）使用目級聯(lián)聚合解碼器對融合的跨模態(tài)特征進行顯著性的推理和解碼，生成預(yù)測的顯著性圖。