一種流處理方式支持動態(tài)讀取hive表數據的方法及裝置

基本信息

申請?zhí)?/td> CN202111194393.0 申請日 -
公開（公告）號 CN113886330A 公開（公告）日 2022-01-04
申請公布號 CN113886330A 申請公布日 2022-01-04
分類號 G06F16/13（2019.01）I;G06F16/16（2019.01）I;G06F16/182（2019.01）I 分類 計算；推算；計數;
發(fā)明人 趙方楊;高東升;梅綱 申請（專利權）人 武漢達夢數據庫股份有限公司
代理機構 深圳市六加知識產權代理有限公司 代理人 向彬
地址 430000湖北省武漢市東湖新技術開發(fā)區(qū)高新大道999號未來科技大廈C3棟16-19層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計算機技術領域，提供了一種流處理方式支持動態(tài)讀取hive表數據的方法及裝置，方法包括：設置patitionMap和partitionValueList，設置第一輪讀取中的時間戳為預設初始值；若patitionMap中能夠找到partitionValueList中待讀取的分區(qū)名，則判定相應待讀取的分區(qū)為老分區(qū)；若老分區(qū)中待讀取文件的文件修改時間大于patitionMap中相應分區(qū)中已經讀取過的最大的文件修改時間，且老分區(qū)中待讀取文件的文件修改時間大于當前輪時間戳，則判定老分區(qū)中待讀取文件為老分區(qū)新文件，按partitionValueList中相應待讀取文件的路徑進行老分區(qū)新文件的讀?。槐景l(fā)明提供的流處理方式支持動態(tài)讀取hive表數據的方法可以在流機制上執(zhí)行hive的數據源，使流處理引擎能夠對hive中的老分區(qū)新文件進行動態(tài)讀取。