一種大數(shù)據(jù)ETL模型執(zhí)行的分支優(yōu)化方法

基本信息

申請?zhí)?/td> CN202011002885.0 申請日 -
公開（公告）號 CN112115191B 公開（公告）日 2022-02-15
申請公布號 CN112115191B 申請公布日 2022-02-15
分類號 G06F16/25（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 朱欣焰;郭宇達;咼維;樊亞新 申請（專利權(quán)）人 南京北斗創(chuàng)新應用科技研究院有限公司
代理機構(gòu) 北京金智普華知識產(chǎn)權(quán)代理有限公司 代理人 楊采良
地址 211500江蘇省南京市六合區(qū)龍池街道虎躍東路8號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種大數(shù)據(jù)ETL模型執(zhí)行的分支優(yōu)化方法，根據(jù)原始數(shù)據(jù)集的更新特點、ELT模型特點動態(tài)分析模型執(zhí)行的必要性；針對ETL模型的多個算子分支進行優(yōu)化判斷，針對更新頻率較低的分支，通過緩存表重構(gòu)的方式跳過中間的重復計算過程，從算子層面降低重復執(zhí)行率，提高ETL模型的執(zhí)行效率，更加高效地進行大數(shù)據(jù)分析。與現(xiàn)有技術(shù)相比，本發(fā)明能夠根據(jù)原始數(shù)據(jù)集的更新特點、ELT模型特點動態(tài)分析模型執(zhí)行的必要性；針對ETL模型的多個算子分支進行優(yōu)化判斷，針對更新頻率較低的分支，通過緩存表重構(gòu)的方式跳過中間的重復計算過程，從算子層面降低重復執(zhí)行率，提高ETL模型的執(zhí)行效率，更加高效地進行大數(shù)據(jù)分析。