一種基于Hive的高校數(shù)據(jù)倉(cāng)庫(kù)分層設(shè)計(jì)方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201811098136.5 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN109189764A | 公開（公告）日 | 2019-01-11 |
| 申請(qǐng)公布號(hào) | CN109189764A | 申請(qǐng)公布日 | 2019-01-11 |
| 分類號(hào) | G06F16/21;G06F16/28 | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 楊連群 | 申請(qǐng)（專利權(quán)）人 | 北京桃花島信息技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 合肥中谷知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 洪玲 |
| 地址 | 100089 北京市海淀區(qū)玲瓏路9號(hào)院東區(qū)8號(hào)樓12層1218 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種基于Hive的高校數(shù)據(jù)倉(cāng)庫(kù)分層設(shè)計(jì)方法，包括：獲取數(shù)據(jù)，使用ETL工具進(jìn)行數(shù)據(jù)抽取，將獲取的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)同步到Hive平臺(tái)上；使用Hive構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，將數(shù)據(jù)倉(cāng)庫(kù)分為ODS數(shù)據(jù)存儲(chǔ)層、DWD數(shù)據(jù)明細(xì)層、DW數(shù)據(jù)匯總層、DWA數(shù)據(jù)應(yīng)用層；數(shù)據(jù)倉(cāng)庫(kù)建模，確定分析主題，使用維度建模法，使用最小粒度設(shè)計(jì)維表，設(shè)計(jì)事實(shí)表；設(shè)計(jì)事實(shí)表，分為事實(shí)表?非分區(qū)表，和分區(qū)事實(shí)表。本發(fā)明提出的數(shù)據(jù)倉(cāng)庫(kù)分層設(shè)計(jì)相比其他大數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)三層分析處理更靈活，可擴(kuò)展性強(qiáng)，后期可根據(jù)業(yè)務(wù)需求增加相應(yīng)的分析主題，將Hive大數(shù)據(jù)平臺(tái)優(yōu)點(diǎn)和數(shù)據(jù)倉(cāng)庫(kù)星型模型設(shè)計(jì)方法高效地結(jié)合起來。 |
