一種基于內(nèi)存計(jì)算的分布式數(shù)據(jù)分析處理方法

基本信息

申請(qǐng)?zhí)?/td> CN201510839621.3 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN105426504A 公開(kāi)（公告）日 2016-03-23
申請(qǐng)公布號(hào) CN105426504A 申請(qǐng)公布日 2016-03-23
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 朱志祥;肖躍雷;張龍興;陳曉 申請(qǐng)（專利權(quán)）人 陜西艾特智慧信息技術(shù)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 712000 陜西省咸陽(yáng)市西咸新區(qū)灃西新城西部云谷A座14層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于內(nèi)存計(jì)算的分布式數(shù)據(jù)分析處理方法，包括如下步驟：1）提供一個(gè)類SQL解析器，將傳入的查詢分析文本解析為相應(yīng)的邏輯計(jì)劃，并進(jìn)行初步優(yōu)化；2）提供一個(gè)任務(wù)轉(zhuǎn)換器，將類SQL解析器生成的邏輯計(jì)劃轉(zhuǎn)換為可為大數(shù)據(jù)內(nèi)存計(jì)算模型識(shí)別的計(jì)算表達(dá)式，包含多個(gè)自定義的轉(zhuǎn)化類；3）提供一個(gè)查詢優(yōu)化器，將傳入的內(nèi)存計(jì)算模型可識(shí)別的表達(dá)式轉(zhuǎn)化為邏輯計(jì)劃同時(shí)對(duì)邏輯計(jì)劃進(jìn)行優(yōu)化，然后轉(zhuǎn)化為物理執(zhí)行計(jì)劃。針對(duì)傳統(tǒng)大數(shù)據(jù)處理在數(shù)據(jù)查詢分析處理上的空缺，本發(fā)明提供了一種基于內(nèi)存計(jì)算的分布式數(shù)據(jù)分析處理方法，繼承了內(nèi)存計(jì)算模型在數(shù)據(jù)處理方面的優(yōu)勢(shì)，使得數(shù)據(jù)查詢分析的編程語(yǔ)言更加簡(jiǎn)單。