一種大數(shù)據(jù)ETL模型執(zhí)行的分支優(yōu)化方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011002885.0 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN112115191B | 公開（公告）日 | 2022-02-15 |
| 申請(qǐng)公布號(hào) | CN112115191B | 申請(qǐng)公布日 | 2022-02-15 |
| 分類號(hào) | G06F16/25（2019.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 朱欣焰;郭宇達(dá);咼維;樊亞新 | 申請(qǐng)（專利權(quán)）人 | 南京北斗創(chuàng)新應(yīng)用科技研究院有限公司 |
| 代理機(jī)構(gòu) | 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 楊采良 |
| 地址 | 211500江蘇省南京市六合區(qū)龍池街道虎躍東路8號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種大數(shù)據(jù)ETL模型執(zhí)行的分支優(yōu)化方法，根據(jù)原始數(shù)據(jù)集的更新特點(diǎn)、ELT模型特點(diǎn)動(dòng)態(tài)分析模型執(zhí)行的必要性；針對(duì)ETL模型的多個(gè)算子分支進(jìn)行優(yōu)化判斷，針對(duì)更新頻率較低的分支，通過緩存表重構(gòu)的方式跳過中間的重復(fù)計(jì)算過程，從算子層面降低重復(fù)執(zhí)行率，提高ETL模型的執(zhí)行效率，更加高效地進(jìn)行大數(shù)據(jù)分析。與現(xiàn)有技術(shù)相比，本發(fā)明能夠根據(jù)原始數(shù)據(jù)集的更新特點(diǎn)、ELT模型特點(diǎn)動(dòng)態(tài)分析模型執(zhí)行的必要性；針對(duì)ETL模型的多個(gè)算子分支進(jìn)行優(yōu)化判斷，針對(duì)更新頻率較低的分支，通過緩存表重構(gòu)的方式跳過中間的重復(fù)計(jì)算過程，從算子層面降低重復(fù)執(zhí)行率，提高ETL模型的執(zhí)行效率，更加高效地進(jìn)行大數(shù)據(jù)分析。 |
