一種基于遠(yuǎn)程日志備份的HBase數(shù)據(jù)可用性及持久性的方法

基本信息

申請(qǐng)?zhí)?/td> CN201410095611.9 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN103870570A 公開(kāi)（公告）日 2014-06-18
申請(qǐng)公布號(hào) CN103870570A 申請(qǐng)公布日 2014-06-18
分類號(hào) G06F17/30(2006.01)I;G06F11/14(2006.01)I;G06F11/34(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊峰;陳寧昕;孫曉燕;周學(xué)海;唐長(zhǎng)城;謝飛;趙偉;李政 申請(qǐng)（專利權(quán)）人 上海艾訊云計(jì)算有限公司
代理機(jī)構(gòu) 廣州圣理華知識(shí)產(chǎn)權(quán)代理有限公司 代理人 廣州攜智信息科技有限公司;上海艾訊云計(jì)算有限公司
地址 510000 廣東省廣州市天河區(qū)黃埔大道西路33號(hào)23樓BCD1房
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于遠(yuǎn)程日志備份的HBase數(shù)據(jù)可用性及持久性的方法，HBase的數(shù)據(jù)節(jié)點(diǎn)寫(xiě)入時(shí)，首先通過(guò)分布式系統(tǒng)封裝日志記錄，并通過(guò)網(wǎng)絡(luò)把日志備份到預(yù)先指定的遠(yuǎn)程節(jié)點(diǎn)，保證數(shù)據(jù)的可用性和持久性，并以此為基礎(chǔ)，把大量用戶數(shù)據(jù)和日志記錄暫存在內(nèi)存中，減少數(shù)據(jù)處理過(guò)程中的數(shù)據(jù)持久化進(jìn)程；當(dāng)HBase的數(shù)據(jù)節(jié)點(diǎn)處于空閑的時(shí)候，主動(dòng)把內(nèi)存中的數(shù)據(jù)持久化到文件系統(tǒng)，減輕內(nèi)存存儲(chǔ)壓力，減少寫(xiě)操作過(guò)程中發(fā)生持久化進(jìn)程的頻率，提高數(shù)據(jù)寫(xiě)入的時(shí)間性能。這種基于遠(yuǎn)程日志備份的HBase數(shù)據(jù)可用性及持久性的方法保證了數(shù)據(jù)的可用性、持久性，大大提高數(shù)據(jù)寫(xiě)入速度、提高系統(tǒng)性能。