一種基于遠程日志備份的 HBase 數(shù)據(jù)可用性及持久性的方法

基本信息

申請?zhí)?/td> CN201410095611.9 申請日 -
公開（公告）號 CN103870570B 公開（公告）日 2018-04-27
申請公布號 CN103870570B 申請公布日 2018-04-27
分類號 G06F17/30;G06F11/14;G06F11/34 分類 計算；推算；計數(shù);
發(fā)明人 楊峰;陳寧昕;孫曉燕;周學(xué)海;唐長城;謝飛;趙偉;李政 申請（專利權(quán)）人 上海艾訊云計算有限公司
代理機構(gòu) 廣州圣理華知識產(chǎn)權(quán)代理有限公司 代理人 上海艾訊云計算有限公司
地址 201499 上海市奉賢區(qū)望園路2165弄11號226室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于遠程日志備份的HBase數(shù)據(jù)可用性及持久性的方法，HBase的數(shù)據(jù)節(jié)點寫入時，首先通過分布式系統(tǒng)封裝日志記錄，并通過網(wǎng)絡(luò)把日志備份到預(yù)先指定的遠程節(jié)點，保證數(shù)據(jù)的可用性和持久性，并以此為基礎(chǔ)，把大量用戶數(shù)據(jù)和日志記錄暫存在內(nèi)存中，減少數(shù)據(jù)處理過程中的數(shù)據(jù)持久化進程；當(dāng)HBase的數(shù)據(jù)節(jié)點處于空閑的時候，主動把內(nèi)存中的數(shù)據(jù)持久化到文件系統(tǒng)，減輕內(nèi)存存儲壓力，減少寫操作過程中發(fā)生持久化進程的頻率，提高數(shù)據(jù)寫入的時間性能。這種基于遠程日志備份的HBase數(shù)據(jù)可用性及持久性的方法保證了數(shù)據(jù)的可用性、持久性，大大提高數(shù)據(jù)寫入速度、提高系統(tǒng)性能。