一種基于視頻分析的RPA流程自動生成方法與系統(tǒng)

基本信息

申請?zhí)?/td> CN202110760829.1 申請日 -
公開（公告）號 CN113255614A 公開（公告）日 2021-08-13
申請公布號 CN113255614A 申請公布日 2021-08-13
分類號 G06K9/00（2006.01）I;G06K9/20（2006.01）I;G06K9/34（2006.01）I;G06K9/62（2006.01）I;G06F16/583（2019.01）I;G06F16/783（2019.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06N20/00（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 歐陽小剛 申請（專利權）人 杭州實在智能科技有限公司
代理機構 杭州云睿專利代理事務所（普通合伙） 代理人 張驍敏
地址 310000浙江省杭州市余杭區(qū)人工智能小鎮(zhèn)六號樓六層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于視頻分析的RPA流程自動生成方法與系統(tǒng)，應用有視頻轉寫和日志解析模塊、視頻讀取和關鍵幀抽取模塊、關鍵幀元素提取模塊、元素圖片檢索模塊、機器人流程自動化組件匹配模塊，采用關鍵幀抽取技術和操作日志相結合的方式，定位到包含核心操作步驟的視頻關鍵幀；采用目標檢測、光學字符識別和圖像檢索技術相結合的方式，對關鍵幀圖像上的各類界面元素進行定位、識別和分類，得到每一個核心操作步驟對應的操作對象和操作行為；采用基于機器學習的分類模型構建<操作對象，操作行為>二元組到機器人流程自動化組件的映射關系，從而最終生成可執(zhí)行的流程腳本。