一種基于多模態(tài)稠密融合網(wǎng)絡的物體6D姿態(tài)估計方法

基本信息

申請?zhí)?/td> CN202210574035.0 申請日 -
公開（公告）號 CN114663514A 公開（公告）日 2022-06-24
申請公布號 CN114663514A 申請公布日 2022-06-24
分類號 G06T7/73（2017.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I;G06V10/26（2022.01）I;G06V10/762（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06K9/62（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 宋亞楠;劉賢斐;沈衛(wèi)明;姜澤維;周迪楠 申請（專利權）人 浙江大學計算機創(chuàng)新技術研究院
代理機構 杭州求是專利事務所有限公司 代理人 -
地址 311200浙江省杭州市蕭山區(qū)寧圍街道市心北路857號383室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于多模態(tài)稠密融合網(wǎng)絡的物體6D姿態(tài)估計方法。將物體的RGB圖像和點云輸入物體6D姿態(tài)估計網(wǎng)絡訓練和預測獲得旋轉和平移變換結果；網(wǎng)絡中用卷積神經(jīng)網(wǎng)絡提取物體表面特征，對物體表面特征截取后再與物體幾何特征拼接融合成局部模態(tài)稠密融合特征，輸入下一多層感知機獲取物體幾何特征，融合得全局多模態(tài)稠密融合特征，再輸入到實例分割關鍵點處理模塊得目標關鍵點，結合最遠點采樣得采樣關鍵點，通過奇異值分解獲得6D姿態(tài)信息。本發(fā)明方法能夠充分利用物體的RGB信息和深度信息，兩種模態(tài)信息的相互補充融合能有效提高網(wǎng)絡對相似物體的姿態(tài)判別能力，對噪聲、遮擋、低紋理等復雜環(huán)境具有較強的適應性。