一種從示教視頻學(xué)習(xí)物體的可供性方法

基本信息

申請(qǐng)?zhí)?/td> CN202110242514.8 申請(qǐng)日 -
公開（公告）號(hào) CN112949501A 公開（公告）日 2021-06-11
申請(qǐng)公布號(hào) CN112949501A 申請(qǐng)公布日 2021-06-11
分類號(hào) G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 黃煒;顏天信 申請(qǐng)（專利權(quán)）人 安徽省科億信息科技有限公司
代理機(jī)構(gòu) 合肥律眾知識(shí)產(chǎn)權(quán)代理有限公司 代理人 趙娟
地址 230000 安徽省合肥市黃山路602號(hào)國家大學(xué)科技園創(chuàng)業(yè)孵化中心
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種從示教視頻學(xué)習(xí)物體的可供性方法，該方法包括從示教視頻幀中檢測(cè)手部區(qū)域；搭建手部相關(guān)選擇網(wǎng)絡(luò)，并進(jìn)行訓(xùn)練；利用訓(xùn)練好的手部相關(guān)選擇網(wǎng)絡(luò)提取上述手部檢測(cè)數(shù)據(jù)中人與物體發(fā)生交互的關(guān)鍵幀；將關(guān)鍵幀中人和物體交互相關(guān)區(qū)域遷移到靜態(tài)物體的圖像中，并通過蒸餾損失將靜態(tài)物體映射到人操作物體的狀態(tài)；得到可供性標(biāo)定網(wǎng)絡(luò)；用挑選出的關(guān)鍵幀訓(xùn)練網(wǎng)絡(luò)，優(yōu)化參數(shù)，得到訓(xùn)練后的可供性標(biāo)定網(wǎng)絡(luò)；將待識(shí)別物體的靜態(tài)物體的圖像以及可供性標(biāo)簽輸入到網(wǎng)絡(luò)中，輸出物體上能完成該相互作用的區(qū)域；本發(fā)明具有比較好的泛化能力，對(duì)于未見過的物體，能根據(jù)物體上某些局部特征學(xué)習(xí)到相關(guān)相互作用的區(qū)域。