Hadoop文件處理方法、裝置、存儲介質(zhì)及服務(wù)器

基本信息

申請?zhí)?/td> CN201910840684.9 申請日 -
公開（公告）號 CN110765082A 公開（公告）日 2020-02-07
申請公布號 CN110765082A 申請公布日 2020-02-07
分類號 G06F16/16;G06F16/182 分類 計算；推算；計數(shù);
發(fā)明人 李亮光 申請（專利權(quán)）人 深圳平安通信科技有限公司
代理機(jī)構(gòu) 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司 代理人 深圳平安通信科技有限公司
地址 518000 廣東省深圳市前海深港合作區(qū)臨海大道59號海運(yùn)中心主塔樓319號
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種Hadoop文件處理方法、裝置、計算機(jī)可讀存儲介質(zhì)及服務(wù)器。所述方法包括：接收終端設(shè)備下發(fā)的Hadoop文件處理指令，并從所述Hadoop文件處理指令中提取文件篩選維度、文件篩選范圍以及文件處理方式；按照所述文件篩選維度對預(yù)設(shè)的第一文件信息表中的文件條目進(jìn)行升序排序，得到第二文件信息表，所述第一文件信息表用于存儲Hadoop分布式文件系統(tǒng)中的文件信息；在所述第二文件信息表中查找第一文件條目和第二文件條目；按照所述文件處理方式對指定文件集合進(jìn)行處理，所述指定文件集合為由所述第一文件條目和所述第二文件條目之間的各個文件條目所對應(yīng)的各個文件組成的集合。在需要進(jìn)行批量文件處理時，極大提升了處理效率。