一種基于HDFS大數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)編輯方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202111239198.5 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN114003563A | 公開(kāi)（公告）日 | 2022-02-01 |
| 申請(qǐng)公布號(hào) | CN114003563A | 申請(qǐng)公布日 | 2022-02-01 |
| 分類(lèi)號(hào) | G06F16/14（2019.01）I;G06F16/172（2019.01）I;G06F16/178（2019.01）I;G06F16/182（2019.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 胡浩瀚;郭正雄;王汝英;張立;楊少春;張海濤;朱傳晶;劉德強(qiáng);張志陶 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 天津市普迅電力信息技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 天津盛理知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 董一寧 |
| 地址 | 300384天津市濱海新區(qū)華苑產(chǎn)業(yè)區(qū)海泰發(fā)展六道6號(hào)海泰綠色產(chǎn)業(yè)基地J座608室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 一種基于HDFS大數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)編輯方法，包括以下步驟：步驟一：配置存儲(chǔ)策略、同步策略及數(shù)據(jù)合并策略；步驟二：數(shù)據(jù)接收服務(wù)根據(jù)存儲(chǔ)策略將近一段時(shí)間內(nèi)的數(shù)據(jù)存儲(chǔ)在熱數(shù)據(jù)存儲(chǔ)內(nèi)存及磁盤(pán)中；步驟三：數(shù)據(jù)同步服務(wù)根據(jù)同步策略以及數(shù)據(jù)是否為更新操作將熱存儲(chǔ)中的數(shù)據(jù)分別同步到分布式存儲(chǔ)中的不同存儲(chǔ)空間；步驟四：數(shù)據(jù)合并服務(wù)根據(jù)數(shù)據(jù)合并策略將分布式存儲(chǔ)中兩個(gè)存儲(chǔ)空間的數(shù)據(jù)進(jìn)行數(shù)據(jù)合并；步驟五：數(shù)據(jù)查詢(xún)服務(wù)查詢(xún)數(shù)據(jù)須先查詢(xún)熱存儲(chǔ)，命中則返回，否則分別查詢(xún)分布式存儲(chǔ)兩個(gè)存儲(chǔ)空間，合并并返回查詢(xún)結(jié)果。該方法實(shí)現(xiàn)了HDFS存儲(chǔ)中的數(shù)據(jù)可更新功能，同時(shí)熱存儲(chǔ)中的數(shù)據(jù)提升訪(fǎng)問(wèn)效率。 |
