一種RPA機(jī)器人智能元素定位拾取方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202011206854.7 申請(qǐng)日 -
公開（公告）號(hào) CN112101357A 公開（公告）日 2020-12-18
申請(qǐng)公布號(hào) CN112101357A 申請(qǐng)公布日 2020-12-18
分類號(hào) G06K9/32;G06K9/62;G06N3/04;G06N3/08 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 歐陽(yáng)小剛 申請(qǐng)（專利權(quán)）人 杭州實(shí)在智能科技有限公司
代理機(jī)構(gòu) 杭州云睿專利代理事務(wù)所（普通合伙） 代理人 張驍敏
地址 311100 浙江省杭州市余杭區(qū)人工智能小鎮(zhèn)六幢六層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種RPA機(jī)器人智能元素定位拾取方法及系統(tǒng)，首先采用模板匹配、OCR和圖像檢索相結(jié)合的計(jì)算機(jī)視覺技術(shù)，解決遠(yuǎn)程桌面、虛擬系統(tǒng)等元素?zé)o法定位和操作的問題，提出的新方案能夠更加準(zhǔn)確和穩(wěn)定地定位和拾取圖片上元素的位置和內(nèi)容；其次采用基于模板匹配的元素定位方案，不需要大量的標(biāo)注樣本，且更加穩(wěn)定和可控；第三，融合像素點(diǎn)特征、角點(diǎn)特征和深度神經(jīng)網(wǎng)絡(luò)的卷積特征，使得模板匹配的效果更準(zhǔn)確和穩(wěn)定，同時(shí)OCR技術(shù)也能進(jìn)一步輔助帶文字信息的元素進(jìn)行定位；最后，采用圖像檢索技術(shù)構(gòu)建模板庫(kù)檢索引擎，能夠精準(zhǔn)判斷要處理的頁(yè)面圖片屬于哪種應(yīng)用程序，從而解決多場(chǎng)景下模板庫(kù)增長(zhǎng)導(dǎo)致的檢索和匹配速度慢的問題。