一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理方法
基本信息
申請(qǐng)?zhí)?/td> | CN201510036120.1 | 申請(qǐng)日 | - |
公開(kāi)(公告)號(hào) | CN104573064A | 公開(kāi)(公告)日 | 2015-04-29 |
申請(qǐng)公布號(hào) | CN104573064A | 申請(qǐng)公布日 | 2015-04-29 |
分類(lèi)號(hào) | G06F17/30(2006.01)I | 分類(lèi) | 計(jì)算;推算;計(jì)數(shù); |
發(fā)明人 | 謝叔陽(yáng) | 申請(qǐng)(專利權(quán))人 | 四川攜恩空服科技有限公司 |
代理機(jī)構(gòu) | 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 四川中科騰信科技有限公司;四川傲飛空服科技有限公司 |
地址 | 610041 四川省成都市高新區(qū)天府大道中段1號(hào)1棟209單元1層6號(hào) | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明提供了一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理方法,該方法包括:根據(jù)文件的操作粒度,將文件分為文件塊、物理文件和邏輯文件,并分別定義文件塊元數(shù)據(jù)、物理文件元數(shù)據(jù)和邏輯文件元數(shù)據(jù);將新舊兩個(gè)版本的文件元數(shù)據(jù)在服務(wù)器端進(jìn)行比較,通過(guò)存儲(chǔ)層中文件塊對(duì)相同數(shù)據(jù)進(jìn)行冗余去重,從而在客戶端與服務(wù)器端執(zhí)行新舊版本數(shù)據(jù)的差異化傳輸。本發(fā)明實(shí)現(xiàn)了大數(shù)據(jù)環(huán)境下的數(shù)據(jù)同步,減輕了服務(wù)器端計(jì)算壓力,提高了傳輸效率和資源利用率。 |
