一種用于探測HIVE數(shù)據(jù)庫數(shù)據(jù)血緣的方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110211183.1 申請日 -
公開（公告）號 CN112925777A 公開（公告）日 2021-06-08
申請公布號 CN112925777A 申請公布日 2021-06-08
分類號 G06F16/215;G06F16/248;G06F16/28 分類 計算；推算；計數(shù);
發(fā)明人 蘇瑀;陳筱進;劉登賀;張世杰 申請（專利權(quán)）人 吉林億聯(lián)銀行股份有限公司
代理機構(gòu) 北京集佳知識產(chǎn)權(quán)代理有限公司 代理人 錢娜
地址 130000 吉林省長春市南關(guān)區(qū)人民大街10606號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種用于探測HIVE數(shù)據(jù)庫數(shù)據(jù)血緣的方法及系統(tǒng)，方法包括：配置LineageLogger Hook功能；基于LineageLogger Hook功能對HiveSql進行解析，生成hive.log日志；對hive.log日志進行數(shù)據(jù)清洗形成JOIN格式，并將清洗后的數(shù)據(jù)數(shù)據(jù)導(dǎo)入至開源圖數(shù)據(jù)庫neo4j；利用neo4j接口查詢字段之間的依賴關(guān)系；調(diào)用圖數(shù)據(jù)庫neo4j API接口，解析JSON串，將數(shù)據(jù)血緣進行可視化顯示。本發(fā)明能夠有效的完成各個數(shù)據(jù)表、字段之間的數(shù)據(jù)血緣關(guān)系的分析和梳理。