一種跨數(shù)據(jù)中心的ETL工具

基本信息

申請?zhí)?/td> CN202110552855.5 申請日 -
公開（公告）號 CN113312416A 公開（公告）日 2021-08-27
申請公布號 CN113312416A 申請公布日 2021-08-27
分類號 G06F16/25;G06F16/215 分類 計算；推算；計數(shù);
發(fā)明人 蘭波;莫加龍;萬樂園;張鼎浩;張杰;龔連勝;杜在乾 申請（專利權）人 成都美爾貝科技股份有限公司
代理機構 成都弘毅天承知識產(chǎn)權代理有限公司 代理人 岳子強
地址 610000 四川省成都市高新區(qū)蜀都中心2期1號樓6層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種跨數(shù)據(jù)中心的ETL工具，包括任務調(diào)度模塊、數(shù)據(jù)清洗模塊、上傳模塊和存儲模塊，其中：所述任務調(diào)度模塊，用于創(chuàng)建需要清洗的任務，并將任務存儲在第一數(shù)據(jù)中心的數(shù)據(jù)庫中；所述數(shù)據(jù)清洗模塊，獲取第一數(shù)據(jù)中心的數(shù)據(jù)庫中需要清洗的任務的計劃，拆分任務中的結構化數(shù)據(jù)和非結構化數(shù)據(jù)；所述上傳模塊，用于獲取任務中結構化數(shù)據(jù)推送到第一數(shù)據(jù)中心的redis隊列中進行清洗和入庫，用于獲取任務中的非結構化數(shù)據(jù)推送到第二數(shù)據(jù)中心的redis隊列中進行清洗；所述存儲模塊，用于獲取第二數(shù)據(jù)中心清洗的數(shù)據(jù)存儲到第三數(shù)據(jù)中心的數(shù)據(jù)庫；提高清洗的效率和穩(wěn)定性，根據(jù)不同的數(shù)據(jù)中心的產(chǎn)品價格優(yōu)勢，降低使用成本。