一種無監(jiān)督可遷移的3D視覺物體抓取方法

基本信息

申請(qǐng)?zhí)?/td> CN201911289276.5 申請(qǐng)日 -
公開（公告）號(hào) CN112989881A 公開（公告）日 2021-06-18
申請(qǐng)公布號(hào) CN112989881A 申請(qǐng)公布日 2021-06-18
分類號(hào) G06K9/00;G06K9/32;G06N3/04;G06N3/08;G06T7/11;G06T7/80 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張?jiān)骑w;王衍軍;丁泉;吳雙;呂忠源 申請(qǐng)（專利權(quán)）人 深圳慧智星晨科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 518000 廣東省深圳市寶安區(qū)福海街道塘尾社區(qū)荔園路翰宇生物工程有限公司6號(hào)樓604
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種無監(jiān)督可遷移的3D視覺物體抓取方法。系統(tǒng)由一個(gè)RGBD（彩色+深度）攝像頭、一個(gè)工業(yè)機(jī)械臂、和上位機(jī)控制系統(tǒng)組成。方法包括以下步驟（1）獲取常見的混雜待抓取物體的4通道的RGBD圖像，人工標(biāo)出待抓取物體的邊緣部分，作為源數(shù)據(jù)集；（2）獲取項(xiàng)目所需的特定混雜待抓取物體，只對(duì)一小部分測(cè)試集進(jìn)行邊緣標(biāo)注，其余圖像不用標(biāo)注，作為目標(biāo)數(shù)據(jù)集；（3）將源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集的RGBD圖像輸入對(duì)抗性卷積神經(jīng)網(wǎng)絡(luò),訓(xùn)練網(wǎng)絡(luò)同時(shí)對(duì)源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集的物體邊緣進(jìn)行準(zhǔn)確識(shí)別；（4）去除深度圖中的邊緣及背景平面，分割出待抓取物體；（5）根據(jù)深度圖分割結(jié)果，識(shí)別待抓取物體中每個(gè)點(diǎn)的可抓取概率；（6）選取可抓取概率最大點(diǎn)，計(jì)算該點(diǎn)的坐標(biāo)及法向量，發(fā)送給機(jī)器人進(jìn)行抓取。