一種基于HIVE的數(shù)據(jù)增量采集方法

基本信息

申請?zhí)?/td> CN202210368943.4 申請日 -
公開（公告）號 CN114647641A 公開（公告）日 2022-06-21
申請公布號 CN114647641A 申請公布日 2022-06-21
分類號 G06F16/215（2019.01）I;G06F16/22（2019.01）I;G06F16/23（2019.01）I;G06F16/2458（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 鄭士良;劉威憲;黎榮華;安寶;劉東東;林楠;陳文豪;張夏楠 申請（專利權(quán)）人 河鋼數(shù)字技術(shù)股份有限公司
代理機構(gòu) 石家莊知住優(yōu)創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 -
地址 050000河北省石家莊市高新區(qū)黃河大道136號科技中心1號樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于HIVE的數(shù)據(jù)增量采集方法，涉及大數(shù)據(jù)采集與數(shù)據(jù)清洗治理技術(shù)領(lǐng)域。該基于HIVE的數(shù)據(jù)增量采集方法在使用時，只需要配置相關(guān)的采集任務(wù)和sql腳本任務(wù)，將sql腳本放入可執(zhí)行帶參數(shù)sql腳本的sql執(zhí)行工具中，只暴露出表名，創(chuàng)建時間，更新時間，主鍵，原表可能會刪除數(shù)據(jù)的時間段n，用戶只需填入這幾個關(guān)鍵信息進行sql執(zhí)行任務(wù)配置，即可統(tǒng)一解決以上問題，保證數(shù)據(jù)的一致性；sql腳本處理流程復(fù)用性強，形式靈活，操作簡單，將sql腳本放入執(zhí)行工具，只需填入相關(guān)參數(shù)，即可進行各類治理，適用于hive庫內(nèi)所有類型的表及表內(nèi)不同格式的時間字段的情況。