一種基于HDFS的數(shù)據(jù)轉(zhuǎn)換存儲(chǔ)方法

基本信息

申請?zhí)?/td> CN202110547354.8 申請日 -
公開（公告）號 CN113190527A 公開（公告）日 2021-07-30
申請公布號 CN113190527A 申請公布日 2021-07-30
分類號 G06F16/182（2019.01）I;G06F16/215（2019.01）I;G06F16/2458（2019.01）I;G06F16/25（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 鞏書凱;盧仁謙;梁先黎;鄒平 申請（專利權(quán)）人 重慶忽米網(wǎng)絡(luò)科技有限公司
代理機(jī)構(gòu) 重慶博凱知識(shí)產(chǎn)權(quán)代理有限公司 代理人 黃河
地址 400041重慶市高新區(qū)萬科023創(chuàng)意天地萬科錦尚4幢3單元
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種基于HDFS的數(shù)據(jù)轉(zhuǎn)換存儲(chǔ)方法，其配置HDFS存儲(chǔ)服務(wù)器并設(shè)置HDFS存儲(chǔ)服務(wù)器存儲(chǔ)文件的文件大?。蝗缓髮?shù)據(jù)源的數(shù)據(jù)轉(zhuǎn)換成大小與HDFS存儲(chǔ)服務(wù)器存儲(chǔ)文件的文件大小相適應(yīng)的文件，并將對應(yīng)的文件存儲(chǔ)在HDFS存儲(chǔ)服務(wù)器中。具體包括：將數(shù)據(jù)源接入設(shè)置的MongoDB數(shù)據(jù)庫中；對MongoDB數(shù)據(jù)庫中的熱數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；配置HDFS存儲(chǔ)服務(wù)器存儲(chǔ)文件的文件大小；將數(shù)據(jù)清洗后的熱數(shù)據(jù)轉(zhuǎn)換成與HDFS存儲(chǔ)服務(wù)器存儲(chǔ)文件的文件大小相適應(yīng)的固定大小文件，并將對應(yīng)的固定大小文件存儲(chǔ)在HDFS存儲(chǔ)服務(wù)器中。本發(fā)明中的數(shù)據(jù)轉(zhuǎn)換存儲(chǔ)方法能夠在數(shù)據(jù)存儲(chǔ)前固定文件數(shù)據(jù)格式，從而能夠提升工業(yè)大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)效果。