一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理方法

基本信息

申請(qǐng)?zhí)?/td> CN201510036120.1 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN104573064A 公開(kāi)(公告)日 2015-04-29
申請(qǐng)公布號(hào) CN104573064A 申請(qǐng)公布日 2015-04-29
分類(lèi)號(hào) G06F17/30(2006.01)I 分類(lèi) 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 謝叔陽(yáng) 申請(qǐng)(專利權(quán))人 四川攜恩空服科技有限公司
代理機(jī)構(gòu) 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 代理人 四川中科騰信科技有限公司;四川傲飛空服科技有限公司
地址 610041 四川省成都市高新區(qū)天府大道中段1號(hào)1棟209單元1層6號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理方法,該方法包括:根據(jù)文件的操作粒度,將文件分為文件塊、物理文件和邏輯文件,并分別定義文件塊元數(shù)據(jù)、物理文件元數(shù)據(jù)和邏輯文件元數(shù)據(jù);將新舊兩個(gè)版本的文件元數(shù)據(jù)在服務(wù)器端進(jìn)行比較,通過(guò)存儲(chǔ)層中文件塊對(duì)相同數(shù)據(jù)進(jìn)行冗余去重,從而在客戶端與服務(wù)器端執(zhí)行新舊版本數(shù)據(jù)的差異化傳輸。本發(fā)明實(shí)現(xiàn)了大數(shù)據(jù)環(huán)境下的數(shù)據(jù)同步,減輕了服務(wù)器端計(jì)算壓力,提高了傳輸效率和資源利用率。