Hive文件讀寫方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN201810593791.1 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN109086293B | 公開（公告）日 | 2018-12-25 |
| 申請(qǐng)公布號(hào) | CN109086293B | 申請(qǐng)公布日 | 2018-12-25 |
| 分類號(hào) | G06F16/13(2019.01)I;G06F16/182(2019.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 吳強(qiáng) | 申請(qǐng)（專利權(quán)）人 | 玖富數(shù)科科技集團(tuán)有限責(zé)任公司 |
| 代理機(jī)構(gòu) | 北京正理專利代理有限公司 | 代理人 | 付生輝 |
| 地址 | 100000北京市朝陽區(qū)阜通東大街1號(hào)院5號(hào)樓2單元324005 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供了一種Hive文件讀寫方法及裝置，包括：讀取數(shù)據(jù)接入表，獲取服務(wù)器信息和并行度信息；根據(jù)所述的服務(wù)器信息，生成執(zhí)行程序以連接Hive文件所在的服務(wù)器；根據(jù)所述的服務(wù)器信息和并行度信息，確定所述Hive文件的讀取線程數(shù)量、處理線程數(shù)量和分批大??；接入所述的Hive文件數(shù)據(jù)，進(jìn)行數(shù)據(jù)消費(fèi)。本發(fā)明提供的方法還包括Hive文件數(shù)據(jù)分組業(yè)務(wù)配置，組裝所述讀取的Hive文件數(shù)據(jù)，及根據(jù)數(shù)據(jù)消費(fèi)優(yōu)先級(jí)配置，確定所述數(shù)據(jù)消費(fèi)的順序。相比于傳統(tǒng)的Hive文件讀寫方法，本發(fā)明提供的技術(shù)方案避免了繁冗的編譯過程，緩解了讀取效率較低，無法控制讀取過程的問題。?? |
