一種跨數(shù)據(jù)中心的ETL工具

基本信息

申請?zhí)?/td> CN202110552855.5 申請日 -
公開（公告）號(hào) CN113312416A 公開（公告）日 2021-08-27
申請公布號(hào) CN113312416A 申請公布日 2021-08-27
分類號(hào) G06F16/25;G06F16/215 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 蘭波;莫加龍;萬樂園;張鼎浩;張杰;龔連勝;杜在乾 申請（專利權(quán)）人 成都美爾貝科技股份有限公司
代理機(jī)構(gòu) 成都弘毅天承知識(shí)產(chǎn)權(quán)代理有限公司 代理人 岳子強(qiáng)
地址 610000 四川省成都市高新區(qū)蜀都中心2期1號(hào)樓6層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種跨數(shù)據(jù)中心的ETL工具，包括任務(wù)調(diào)度模塊、數(shù)據(jù)清洗模塊、上傳模塊和存儲(chǔ)模塊，其中：所述任務(wù)調(diào)度模塊，用于創(chuàng)建需要清洗的任務(wù)，并將任務(wù)存儲(chǔ)在第一數(shù)據(jù)中心的數(shù)據(jù)庫中；所述數(shù)據(jù)清洗模塊，獲取第一數(shù)據(jù)中心的數(shù)據(jù)庫中需要清洗的任務(wù)的計(jì)劃，拆分任務(wù)中的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；所述上傳模塊，用于獲取任務(wù)中結(jié)構(gòu)化數(shù)據(jù)推送到第一數(shù)據(jù)中心的redis隊(duì)列中進(jìn)行清洗和入庫，用于獲取任務(wù)中的非結(jié)構(gòu)化數(shù)據(jù)推送到第二數(shù)據(jù)中心的redis隊(duì)列中進(jìn)行清洗；所述存儲(chǔ)模塊，用于獲取第二數(shù)據(jù)中心清洗的數(shù)據(jù)存儲(chǔ)到第三數(shù)據(jù)中心的數(shù)據(jù)庫；提高清洗的效率和穩(wěn)定性，根據(jù)不同的數(shù)據(jù)中心的產(chǎn)品價(jià)格優(yōu)勢，降低使用成本。