一種數(shù)據(jù)治理實(shí)時(shí)數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng)
基本信息
申請(qǐng)?zhí)?/td> | CN202010938634.7 | 申請(qǐng)日 | - |
公開(公告)號(hào) | CN112115121A | 公開(公告)日 | 2020-12-22 |
申請(qǐng)公布號(hào) | CN112115121A | 申請(qǐng)公布日 | 2020-12-22 |
分類號(hào) | G06F16/21(2019.01)I | 分類 | 計(jì)算;推算;計(jì)數(shù); |
發(fā)明人 | 魯紅軍 | 申請(qǐng)(專利權(quán))人 | 云基華海信息技術(shù)股份有限公司 |
代理機(jī)構(gòu) | 北京市浩東律師事務(wù)所 | 代理人 | 李雁 |
地址 | 710000陜西省西安市高新區(qū)高新三路2號(hào)海佳云頂商住樓10603室 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明公開了一種數(shù)據(jù)治理實(shí)時(shí)數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng),包括HBASE數(shù)據(jù)庫、配置模塊、Spark檢測(cè)模塊、統(tǒng)計(jì)模塊和存儲(chǔ)模塊,所述HBASE數(shù)據(jù)庫用于數(shù)據(jù)增量備份表的初始化,所述配置模塊配置檢測(cè)任務(wù),輸入任務(wù)名稱、待檢測(cè)表、關(guān)聯(lián)規(guī)則、任務(wù)執(zhí)行的優(yōu)先級(jí),所述Spark檢測(cè)模塊接收來自配置模塊配置的檢測(cè)任務(wù),并進(jìn)行檢測(cè),所述統(tǒng)計(jì)模塊使用自動(dòng)以累加器的方式對(duì)滿足檢測(cè)規(guī)則的數(shù)據(jù)進(jìn)行檢測(cè)結(jié)果的統(tǒng)計(jì)。本發(fā)明可處理PB級(jí)別數(shù)據(jù),檢測(cè)數(shù)據(jù)量巨大,采用集群檢測(cè)方式,響應(yīng)速度較快,規(guī)則靈活支持單字段對(duì)規(guī)則與單規(guī)則多檢測(cè),內(nèi)置多種檢測(cè)規(guī)則,也可支持用戶自定義檢測(cè),可持續(xù)自動(dòng)檢測(cè)已配置任務(wù)的增量數(shù)據(jù),可出具完善的數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告。?? |
