基于Presto的動態(tài)數(shù)據(jù)處理方法及跨庫查詢方法

基本信息

申請?zhí)?/td> CN202011210164.9 申請日 -
公開(公告)號 CN112364047A 公開(公告)日 2021-02-12
申請公布號 CN112364047A 申請公布日 2021-02-12
分類號 G06F16/242(2019.01)I; 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 李釗;孫浩;孫露;楊春;魏靜;胡傳會;陳通 申請(專利權(quán))人 山東山科知識產(chǎn)權(quán)運(yùn)營中心有限公司
代理機(jī)構(gòu) 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 代理人 祖之強(qiáng)
地址 250014山東省濟(jì)南市高新區(qū)新濼大街2008號銀荷大廈B座3層
法律狀態(tài) -

摘要

摘要 本公開提供了一種基于Presto的動態(tài)數(shù)據(jù)處理方法及跨庫查詢方法,所述跨庫查詢方法包括以下步驟:采用至少一種數(shù)據(jù)庫類型進(jìn)行數(shù)據(jù)源信息存儲,指定自定義表;使用CANAL組件對自定義表進(jìn)行監(jiān)聽,實(shí)時獲取數(shù)據(jù)源注冊信息;對數(shù)據(jù)源注冊表的添加、刪除或修改的信息通過CANAL傳遞給Presto并轉(zhuǎn)化為Presto能夠識別的catalogConfig格式;通過得到的catalogConfig格式的數(shù)據(jù),動態(tài)實(shí)現(xiàn)Presto的數(shù)據(jù)源增加或刪除或修改;本公開支持Presto通過jdbc的方式使用ANSI_SQL的方式來對多源異構(gòu)數(shù)據(jù)進(jìn)行查詢,解決了對存儲在不同數(shù)據(jù)結(jié)構(gòu)上的數(shù)據(jù)融合處理問題,提高了跨庫數(shù)據(jù)查詢和處理的效率。??