一種RGB-D雙模態(tài)特征融合的語義分割方法

基本信息

申請?zhí)?/td> CN202210330691.6 申請日 -
公開（公告）號 CN114693929A 公開（公告）日 2022-07-01
申請公布號 CN114693929A 申請公布日 2022-07-01
分類號 G06V10/26（2022.01）I;G06V10/44（2022.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 方艷紅;羅盆琳 申請（專利權(quán)）人 西南科技大學
代理機構(gòu) - 代理人 -
地址 621010四川省綿陽市涪城區(qū)青龍大道中段59號
法律狀態(tài) -

摘要

摘要 本發(fā)明提出一種RGB?D雙模態(tài)特征融合語義分割方法。首先，使用輕量化的ResNet34架構(gòu)作為雙分支編碼主干，分四個階段提取不同模態(tài)特征信息，逐層將輸出的不同模態(tài)特征圖傳入雙模態(tài)特征融合結(jié)構(gòu)，通過注意力感知需要加強和削減的位置和空間特征，融合后的特征送入跳躍鏈接模塊，為解碼網(wǎng)絡(luò)提供淺層細節(jié)信息；然后，采用雙注意上下文模塊豐富最底層特征圖全局信息并連接解碼器；最后，將來自編碼器子網(wǎng)的淺層、低層、細粒度特征與來自解碼器子網(wǎng)的深度、語義、粗粒度的相同尺度特征圖結(jié)合在一起，獲取包含低級空間和高級語義信息的全局特征。本發(fā)明能充分利用RGB?D圖像的互補特征，得到優(yōu)異的語義分割性能，分割效果較好，運行效率高，具有較好的魯棒性。