一種基于HDFS大數(shù)據(jù)存儲的數(shù)據(jù)編輯方法

基本信息

申請?zhí)?/td> CN202111239198.5 申請日 -
公開（公告）號 CN114003563A 公開（公告）日 2022-02-01
申請公布號 CN114003563A 申請公布日 2022-02-01
分類號 G06F16/14（2019.01）I;G06F16/172（2019.01）I;G06F16/178（2019.01）I;G06F16/182（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 胡浩瀚;郭正雄;王汝英;張立;楊少春;張海濤;朱傳晶;劉德強;張志陶 申請（專利權(quán)）人 天津市普迅電力信息技術(shù)有限公司
代理機構(gòu) 天津盛理知識產(chǎn)權(quán)代理有限公司 代理人 董一寧
地址 300384天津市濱海新區(qū)華苑產(chǎn)業(yè)區(qū)海泰發(fā)展六道6號海泰綠色產(chǎn)業(yè)基地J座608室
法律狀態(tài) -

摘要

摘要 一種基于HDFS大數(shù)據(jù)存儲的數(shù)據(jù)編輯方法，包括以下步驟：步驟一：配置存儲策略、同步策略及數(shù)據(jù)合并策略；步驟二：數(shù)據(jù)接收服務(wù)根據(jù)存儲策略將近一段時間內(nèi)的數(shù)據(jù)存儲在熱數(shù)據(jù)存儲內(nèi)存及磁盤中；步驟三：數(shù)據(jù)同步服務(wù)根據(jù)同步策略以及數(shù)據(jù)是否為更新操作將熱存儲中的數(shù)據(jù)分別同步到分布式存儲中的不同存儲空間；步驟四：數(shù)據(jù)合并服務(wù)根據(jù)數(shù)據(jù)合并策略將分布式存儲中兩個存儲空間的數(shù)據(jù)進行數(shù)據(jù)合并；步驟五：數(shù)據(jù)查詢服務(wù)查詢數(shù)據(jù)須先查詢熱存儲，命中則返回，否則分別查詢分布式存儲兩個存儲空間，合并并返回查詢結(jié)果。該方法實現(xiàn)了HDFS存儲中的數(shù)據(jù)可更新功能，同時熱存儲中的數(shù)據(jù)提升訪問效率。