一種數(shù)據(jù)治理實(shí)時(shí)數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010938634.7 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN112115121A | 公開（公告）日 | 2020-12-22 |
| 申請(qǐng)公布號(hào) | CN112115121A | 申請(qǐng)公布日 | 2020-12-22 |
| 分類號(hào) | G06F16/21(2019.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 魯紅軍 | 申請(qǐng)（專利權(quán)）人 | 云基華海信息技術(shù)股份有限公司 |
| 代理機(jī)構(gòu) | 北京市浩東律師事務(wù)所 | 代理人 | 李雁 |
| 地址 | 710000陜西省西安市高新區(qū)高新三路2號(hào)海佳云頂商住樓10603室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種數(shù)據(jù)治理實(shí)時(shí)數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng)，包括HBASE數(shù)據(jù)庫、配置模塊、Spark檢測(cè)模塊、統(tǒng)計(jì)模塊和存儲(chǔ)模塊，所述HBASE數(shù)據(jù)庫用于數(shù)據(jù)增量備份表的初始化，所述配置模塊配置檢測(cè)任務(wù)，輸入任務(wù)名稱、待檢測(cè)表、關(guān)聯(lián)規(guī)則、任務(wù)執(zhí)行的優(yōu)先級(jí)，所述Spark檢測(cè)模塊接收來自配置模塊配置的檢測(cè)任務(wù)，并進(jìn)行檢測(cè)，所述統(tǒng)計(jì)模塊使用自動(dòng)以累加器的方式對(duì)滿足檢測(cè)規(guī)則的數(shù)據(jù)進(jìn)行檢測(cè)結(jié)果的統(tǒng)計(jì)。本發(fā)明可處理PB級(jí)別數(shù)據(jù)，檢測(cè)數(shù)據(jù)量巨大，采用集群檢測(cè)方式，響應(yīng)速度較快，規(guī)則靈活支持單字段對(duì)規(guī)則與單規(guī)則多檢測(cè)，內(nèi)置多種檢測(cè)規(guī)則，也可支持用戶自定義檢測(cè)，可持續(xù)自動(dòng)檢測(cè)已配置任務(wù)的增量數(shù)據(jù)，可出具完善的數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告。?? |
