一種基于多模態(tài)稠密融合網(wǎng)絡(luò)的物體6D姿態(tài)估計(jì)方法

基本信息

申請(qǐng)?zhí)?/td> CN202210574035.0 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN114663514A 公開(kāi)（公告）日 2022-06-24
申請(qǐng)公布號(hào) CN114663514A 申請(qǐng)公布日 2022-06-24
分類(lèi)號(hào) G06T7/73（2017.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I;G06V10/26（2022.01）I;G06V10/762（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06K9/62（2022.01）I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 宋亞楠;劉賢斐;沈衛(wèi)明;姜澤維;周迪楠 申請(qǐng)（專(zhuān)利權(quán)）人 浙江大學(xué)計(jì)算機(jī)創(chuàng)新技術(shù)研究院
代理機(jī)構(gòu) 杭州求是專(zhuān)利事務(wù)所有限公司 代理人 -
地址 311200浙江省杭州市蕭山區(qū)寧圍街道市心北路857號(hào)383室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于多模態(tài)稠密融合網(wǎng)絡(luò)的物體6D姿態(tài)估計(jì)方法。將物體的RGB圖像和點(diǎn)云輸入物體6D姿態(tài)估計(jì)網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)獲得旋轉(zhuǎn)和平移變換結(jié)果；網(wǎng)絡(luò)中用卷積神經(jīng)網(wǎng)絡(luò)提取物體表面特征，對(duì)物體表面特征截取后再與物體幾何特征拼接融合成局部模態(tài)稠密融合特征，輸入下一多層感知機(jī)獲取物體幾何特征，融合得全局多模態(tài)稠密融合特征，再輸入到實(shí)例分割關(guān)鍵點(diǎn)處理模塊得目標(biāo)關(guān)鍵點(diǎn)，結(jié)合最遠(yuǎn)點(diǎn)采樣得采樣關(guān)鍵點(diǎn)，通過(guò)奇異值分解獲得6D姿態(tài)信息。本發(fā)明方法能夠充分利用物體的RGB信息和深度信息，兩種模態(tài)信息的相互補(bǔ)充融合能有效提高網(wǎng)絡(luò)對(duì)相似物體的姿態(tài)判別能力，對(duì)噪聲、遮擋、低紋理等復(fù)雜環(huán)境具有較強(qiáng)的適應(yīng)性。