一種基于DAG模型的數(shù)據(jù)ETL系統(tǒng)及使用方法

基本信息

申請?zhí)?/td> CN202111106395.X 申請日 -
公開（公告）號 CN113934782A 公開（公告）日 2022-01-14
申請公布號 CN113934782A 申請公布日 2022-01-14
分類號 G06F16/25（2019.01）I;G06F16/28（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 陳坤龍;吳梁斌;許曉琨;詹進(jìn)林 申請（專利權(quán)）人 易聯(lián)眾智鼎（廈門）科技有限公司
代理機構(gòu) 廈門加減專利代理事務(wù)所（普通合伙） 代理人 李強;楊澤奇
地址 361008福建省廈門市軟件園二期觀日路18號604室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數(shù)據(jù)管理技術(shù)領(lǐng)域，特別涉及一種基于DAG模型的數(shù)據(jù)ETL系統(tǒng)及使用方法，其中系統(tǒng)包括主節(jié)點服務(wù)、若干個工作節(jié)點服務(wù)、接口服務(wù)和Zookeeper服務(wù)；接口服務(wù)用于將節(jié)點元數(shù)據(jù)保存到數(shù)據(jù)庫中；主節(jié)點服務(wù)用于查詢數(shù)據(jù)庫中的任務(wù)信息，將要執(zhí)行的任務(wù)生成任務(wù)隊列信息，并將任務(wù)隊列信息保存到Zookeeper服務(wù)；工作節(jié)點服務(wù)用于通過讀取Zookeeper服務(wù)的任務(wù)隊列信息，去順序執(zhí)行任務(wù)，并在運行完后將任務(wù)狀態(tài)保存到數(shù)據(jù)庫。該系統(tǒng)包括主節(jié)點服務(wù)、若干工作節(jié)點服務(wù)、接口服務(wù)和Zookeeper服務(wù)，解決了傳統(tǒng)的SQL語句對數(shù)據(jù)的處理不能實現(xiàn)可視化的效果，不能查看數(shù)據(jù)的血緣關(guān)系的問題，實現(xiàn)實時監(jiān)控任務(wù)運行狀態(tài)、支持多租戶、支持多種任務(wù)類型，并且易于使用的效果。