一種流處理方式支持動(dòng)態(tài)讀取hive表數(shù)據(jù)的方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202111194393.0 申請(qǐng)日 -
公開（公告）號(hào) CN113886330A 公開（公告）日 2022-01-04
申請(qǐng)公布號(hào) CN113886330A 申請(qǐng)公布日 2022-01-04
分類號(hào) G06F16/13（2019.01）I;G06F16/16（2019.01）I;G06F16/182（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 趙方楊;高東升;梅綱 申請(qǐng)（專利權(quán)）人 武漢達(dá)夢(mèng)數(shù)據(jù)庫股份有限公司
代理機(jī)構(gòu) 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 代理人 向彬
地址 430000湖北省武漢市東湖新技術(shù)開發(fā)區(qū)高新大道999號(hào)未來科技大廈C3棟16-19層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，提供了一種流處理方式支持動(dòng)態(tài)讀取hive表數(shù)據(jù)的方法及裝置，方法包括：設(shè)置patitionMap和partitionValueList，設(shè)置第一輪讀取中的時(shí)間戳為預(yù)設(shè)初始值；若patitionMap中能夠找到partitionValueList中待讀取的分區(qū)名，則判定相應(yīng)待讀取的分區(qū)為老分區(qū)；若老分區(qū)中待讀取文件的文件修改時(shí)間大于patitionMap中相應(yīng)分區(qū)中已經(jīng)讀取過的最大的文件修改時(shí)間，且老分區(qū)中待讀取文件的文件修改時(shí)間大于當(dāng)前輪時(shí)間戳，則判定老分區(qū)中待讀取文件為老分區(qū)新文件，按partitionValueList中相應(yīng)待讀取文件的路徑進(jìn)行老分區(qū)新文件的讀?。槐景l(fā)明提供的流處理方式支持動(dòng)態(tài)讀取hive表數(shù)據(jù)的方法可以在流機(jī)制上執(zhí)行hive的數(shù)據(jù)源，使流處理引擎能夠?qū)ive中的老分區(qū)新文件進(jìn)行動(dòng)態(tài)讀取。