數(shù)據(jù)去重處理方法、裝置、設(shè)備及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202011439014.5 申請日 -
公開（公告）號 CN112559452B 公開（公告）日 2021-12-17
申請公布號 CN112559452B 申請公布日 2021-12-17
分類號 G06F16/13（2019.01）I;G06F16/16（2019.01）I;G06F16/174（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 高華龍 申請（專利權(quán)）人 北京云寬志業(yè)網(wǎng)絡(luò)技術(shù)有限公司
代理機(jī)構(gòu) 北京市鑄成律師事務(wù)所 代理人 鄧海鴻;楊瑾瑾
地址 100195北京市海淀區(qū)東冉北街9號寶藍(lán)金園國際中心B段三層3009號
法律狀態(tài) -

摘要

摘要 本申請?zhí)岢鲆环N數(shù)據(jù)去重處理方法、裝置、設(shè)備及存儲介質(zhì)，通過目標(biāo)數(shù)據(jù)塊的目標(biāo)哈希值，確定該目標(biāo)哈希值的歷史出現(xiàn)次數(shù)是否大于或等于預(yù)設(shè)次數(shù)，在該目標(biāo)數(shù)據(jù)塊的目標(biāo)哈希值的歷史出現(xiàn)次數(shù)大于或等于預(yù)設(shè)次數(shù)的情況下，確定該目標(biāo)數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊，并向預(yù)設(shè)設(shè)備反饋該目標(biāo)數(shù)據(jù)塊在存儲系統(tǒng)中的實(shí)際存儲位置。在對目標(biāo)數(shù)據(jù)塊進(jìn)行檢索的過程中，參考了該目標(biāo)數(shù)據(jù)塊的目標(biāo)哈希值的歷史出現(xiàn)次數(shù)來確定該目標(biāo)數(shù)據(jù)塊是否為重復(fù)數(shù)據(jù)塊。而記錄目標(biāo)哈希值的歷史出現(xiàn)次數(shù)所需的存儲空間較小，從而提高了目標(biāo)數(shù)據(jù)塊的檢索效率，促進(jìn)了去重技術(shù)在超大規(guī)模存儲中的應(yīng)用。