基于Hive分區(qū)表實(shí)現(xiàn)物化視圖性能優(yōu)化的方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010808579.X | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111984680A | 公開(kāi)（公告）日 | 2020-11-24 |
| 申請(qǐng)公布號(hào) | CN111984680A | 申請(qǐng)公布日 | 2020-11-24 |
| 分類(lèi)號(hào) | G06F16/2453;G06F16/242 | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 趙恒杰 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 北京海致科技集團(tuán)有限公司 |
| 代理機(jī)構(gòu) | - | 代理人 | - |
| 地址 | 100083 北京市海淀區(qū)學(xué)院路甲5號(hào)2幢平房B-1011 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了基于Hive分區(qū)表實(shí)現(xiàn)物化視圖性能優(yōu)化的方法及系統(tǒng)，其方法包括如下步驟：1、用戶(hù)需要將原表設(shè)為分區(qū)表，系統(tǒng)中稱(chēng)為高性能表，指定分區(qū)字段，分區(qū)粒度等信息，底層根據(jù)用戶(hù)的配置將原表轉(zhuǎn)化成分區(qū)表；2、在原表有數(shù)據(jù)變化，數(shù)據(jù)追加、修改或刪除時(shí)將變化的信息記錄下來(lái)，包括變化的分區(qū)，數(shù)據(jù)量等；3、在執(zhí)行物化視圖更行時(shí)根據(jù)有數(shù)據(jù)變化的分區(qū)的數(shù)據(jù)進(jìn)行計(jì)算，將計(jì)算結(jié)果替換原物化視圖對(duì)應(yīng)分區(qū)的數(shù)據(jù)，得到最終的數(shù)據(jù)。其系統(tǒng)包括：1、原表存儲(chǔ)數(shù)據(jù)類(lèi)型轉(zhuǎn)化裝置；2、物化視圖映射邏輯配置裝置。本專(zhuān)利極大的減少了原數(shù)據(jù)量非常大時(shí)物化視圖的刷新時(shí)間，極大的提高了物化視圖刷新的性能；降低了用戶(hù)的使用門(mén)檻，對(duì)不懂?dāng)?shù)據(jù)庫(kù)，不懂編程的用戶(hù)非常友好。 |
