基于Spark和Hive的分布式OLAP即席查詢方法

基本信息

申請?zhí)?/td> CN202010808594.4 申請日 -
公開（公告）號 CN111966727A 公開（公告）日 2020-11-20
申請公布號 CN111966727A 申請公布日 2020-11-20
分類號 G06F16/2458;G06F16/28 分類 計算；推算；計數(shù);
發(fā)明人 劉啟濤 申請（專利權(quán)）人 北京海致科技集團有限公司
代理機構(gòu) - 代理人 -
地址 100083 北京市海淀區(qū)學(xué)院路甲5號2幢平房B-1011
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了基于Spark和Hive的分布式OLAP即席查詢方法，包括如下步驟：1、由OLAP Query開始，可以是任一種方式觸發(fā)OLAP Query，是引擎執(zhí)行的第一個階段；2、在Query獲取Query Keyword后，會進(jìn)行關(guān)鍵詞的Validator，即驗證檢測；3、驗證后如果驗證結(jié)果通過則進(jìn)行后續(xù)Cache操作；4、進(jìn)行Router路由匹配；5、進(jìn)行SQL Rewrite；6、本階段執(zhí)行引擎會進(jìn)行執(zhí)行，并得到相應(yīng)的結(jié)果。本專利的優(yōu)點在于，不僅支持海量數(shù)據(jù)，還可以支撐海量數(shù)據(jù)下任意維度和時間跨度的高效統(tǒng)計查詢，提供一個靈活多維度的組合型查詢工具，對應(yīng)不同維度的業(yè)務(wù)分析。