一種基于Web的ETL設計數(shù)據(jù)接入方法及數(shù)據(jù)接入模塊

基本信息

申請?zhí)?/td> CN202110367312.6 申請日 -
公開（公告）號 CN113111106A 公開（公告）日 2021-07-13
申請公布號 CN113111106A 申請公布日 2021-07-13
分類號 G06F16/25（2019.01）I;G06F16/27（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 陸文斌;周正斌;徐孟宇;周陽 申請（專利權）人 創(chuàng)意信息技術股份有限公司
代理機構 成都金英專利代理事務所（普通合伙） 代理人 袁英
地址 610000四川省成都市青羊區(qū)萬和路９９號麗陽天下７－９室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Web的ETL設計數(shù)據(jù)接入方法及數(shù)據(jù)接入模塊，方法包括以下步驟：通過Flow類定義每條流程；將各個流程的每個流程環(huán)節(jié)用不同F(xiàn)lowLink類進行表示，形成組件；每一個FlowLink類中記錄了該組件所需要的參數(shù)信息、所屬組件和下一個組件的ID；在可視化界面通過將不同組件進行組合連接，形成一個鏈式的流程，以配置較為復雜的數(shù)據(jù)接入過程；參數(shù)信息采用Json字符串的方式進行存儲；所屬組件表示FlowLink類中進行數(shù)據(jù)處理的組件；下一個組件的ID用于將FlowLink串成一條完整的Flow。本發(fā)明可配置處理較為復雜的數(shù)據(jù)接入，適用于各種業(yè)務場景，實現(xiàn)大數(shù)據(jù)的分批讀取和復雜處理，以提高數(shù)據(jù)處理性能，最大限度地保障數(shù)據(jù)完整準確的接入。