一種RPA機器人中圖標(biāo)檢測方法及其系統(tǒng)

基本信息

申請?zhí)?/td> CN202111023897.6 申請日 -
公開（公告）號 CN113469294A 公開（公告）日 2021-10-01
申請公布號 CN113469294A 申請公布日 2021-10-01
分類號 G06K9/62（2006.01）I;G06N3/08（2006.01）I;G06F3/0481（2013.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王凱;歐陽小剛 申請（專利權(quán)）人 杭州實在智能科技有限公司
代理機構(gòu) 杭州云睿專利代理事務(wù)所（普通合伙） 代理人 張驍敏
地址 310000浙江省杭州市余杭區(qū)余杭街道文一西路1818-2號6-405室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種RPA機器人中圖標(biāo)檢測方法及其系統(tǒng)，獲取標(biāo)注好的頁面圖片中的按鈕圖標(biāo)、并擦除按鈕圖標(biāo)生成軟件背景圖，將獲取到的按鈕圖標(biāo)隨機貼到軟件背景圖上以生成新的頁面圖片和標(biāo)注文件；將原始標(biāo)注好的訓(xùn)練數(shù)據(jù)和新生成的生成數(shù)據(jù)，分割成多張用于訓(xùn)練的固定大小的小圖，并自動生成相應(yīng)的標(biāo)注文件，構(gòu)成最終新的訓(xùn)練數(shù)據(jù)；根據(jù)新的訓(xùn)練數(shù)據(jù)對深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，獲得按鈕檢測模型；輸入需檢測的頁面圖片，按照設(shè)置的固定切分尺寸和重疊量切分成多個切塊圖像，經(jīng)過按鈕檢測模型檢測輸出每個切塊圖像上按鈕圖標(biāo)的位置信息，再通過合并重新生成相對于輸入的頁面圖片的位置信息，得到最終的按鈕位置信息。