一種基于一體化的Web-ETL大數(shù)據(jù)融合方法

基本信息

申請?zhí)?/td> CN202110366843.3 申請日 -
公開（公告）號 CN113111104A 公開（公告）日 2021-07-13
申請公布號 CN113111104A 申請公布日 2021-07-13
分類號 G06F16/25（2019.01）I;G06F16/26（2019.01）I;G06F16/953（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 徐孟宇;羅欽;黃宇;馮琦;葉莎莎 申請（專利權(quán)）人 創(chuàng)意信息技術(shù)股份有限公司
代理機構(gòu) 成都金英專利代理事務(wù)所（普通合伙） 代理人 袁英
地址 610000四川省成都市青羊區(qū)萬和路９９號麗陽天下７－９室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于一體化的Web?ETL大數(shù)據(jù)融合方法，包括以下步驟：S1：根據(jù)數(shù)據(jù)來源選擇數(shù)據(jù)采集方式，進行數(shù)據(jù)采集，將采集的數(shù)據(jù)存入Web?ETL平臺數(shù)據(jù)庫，進行數(shù)據(jù)庫資源配置；S2：數(shù)據(jù)庫資源配置完成后，自動抽取數(shù)據(jù)庫的元數(shù)據(jù)，形成元數(shù)據(jù)列表S3：根據(jù)業(yè)務(wù)需求快速配置資源目錄，形成對內(nèi)數(shù)據(jù)資產(chǎn)的管理；S4：由數(shù)據(jù)資源目錄發(fā)布數(shù)據(jù)服務(wù)目錄，用于數(shù)據(jù)共享與數(shù)據(jù)交換；S5：采用Web?ETL工具和數(shù)據(jù)抓取工具對Web?ETL平臺數(shù)據(jù)庫中的數(shù)據(jù)進行加工處理、建模和調(diào)度。本發(fā)明通過一體化的Web?ETL工具和數(shù)據(jù)抓取工具，提供面向?qū)ο蟮牟僮鞣绞?，一站式完成?shù)據(jù)采集、加工處理流程，提高了用戶對數(shù)據(jù)治理工具操作的延續(xù)性，降低數(shù)據(jù)處理的維護成本。