一種RPA機(jī)器人智能元素定位拾取方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202011206854.7 申請日 -
公開（公告）號 CN112101357B 公開（公告）日 2021-04-27
申請公布號 CN112101357B 申請公布日 2021-04-27
分類號 G06K9/32;G06K9/62;G06N3/04;G06N3/08 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 歐陽小剛 申請（專利權(quán)）人 杭州實(shí)在智能科技有限公司
代理機(jī)構(gòu) 杭州云睿專利代理事務(wù)所（普通合伙） 代理人 張驍敏
地址 311100 浙江省杭州市余杭區(qū)人工智能小鎮(zhèn)六幢六層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種RPA機(jī)器人智能元素定位拾取方法及系統(tǒng)，首先采用模板匹配、OCR和圖像檢索相結(jié)合的計(jì)算機(jī)視覺技術(shù)，解決遠(yuǎn)程桌面、虛擬系統(tǒng)等元素?zé)o法定位和操作的問題，提出的新方案能夠更加準(zhǔn)確和穩(wěn)定地定位和拾取圖片上元素的位置和內(nèi)容；其次采用基于模板匹配的元素定位方案，不需要大量的標(biāo)注樣本，且更加穩(wěn)定和可控；第三，融合像素點(diǎn)特征、角點(diǎn)特征和深度神經(jīng)網(wǎng)絡(luò)的卷積特征，使得模板匹配的效果更準(zhǔn)確和穩(wěn)定，同時(shí)OCR技術(shù)也能進(jìn)一步輔助帶文字信息的元素進(jìn)行定位；最后，采用圖像檢索技術(shù)構(gòu)建模板庫檢索引擎，能夠精準(zhǔn)判斷要處理的頁面圖片屬于哪種應(yīng)用程序，從而解決多場景下模板庫增長導(dǎo)致的檢索和匹配速度慢的問題。