一種提高基于Hadoop大數(shù)據(jù)綜合查詢引擎效率的方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN201811148630.8 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN109446395A | 公開(kāi)（公告）日 | 2019-03-08 |
| 申請(qǐng)公布號(hào) | CN109446395A | 申請(qǐng)公布日 | 2019-03-08 |
| 分類(lèi)號(hào) | G06F16/951（2019.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 歐陽(yáng)濤 | 申請(qǐng)（專利權(quán)）人 | 上海派博軟件有限公司 |
| 代理機(jī)構(gòu) | 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 王琛 |
| 地址 | 200000 上海市長(zhǎng)寧區(qū)天山路641號(hào)1號(hào)樓902室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種提高基于Hadoop大數(shù)據(jù)綜合查詢引擎效率的方法及系統(tǒng)，其利用各計(jì)算引擎的優(yōu)勢(shì)和通過(guò)技術(shù)手段避開(kāi)各引擎的劣勢(shì)而達(dá)到大數(shù)據(jù)查詢效率提升的效果；在實(shí)時(shí)流處理需要的接口中，本發(fā)明切換引擎到Spark，再處理任務(wù)結(jié)束需要切換至批處理的任務(wù)，大大減輕新計(jì)算引擎對(duì)之前的計(jì)算引擎的排斥性影響，降低開(kāi)發(fā)人員的業(yè)務(wù)代碼重構(gòu)，尤其是涉及在老的計(jì)算引擎上的復(fù)雜業(yè)務(wù)計(jì)算。本發(fā)明計(jì)算引擎的智能切換，提高了大數(shù)據(jù)綜合查詢效率，提高業(yè)務(wù)場(chǎng)景的適應(yīng)能力。 |
