數(shù)據(jù)去重處理方法、裝置、設備及存儲介質

基本信息

申請?zhí)?/td> CN202011439014.5 申請日 -
公開（公告）號 CN112559452B 公開（公告）日 2021-12-17
申請公布號 CN112559452B 申請公布日 2021-12-17
分類號 G06F16/13（2019.01）I;G06F16/16（2019.01）I;G06F16/174（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 高華龍 申請（專利權）人 北京云寬志業(yè)網(wǎng)絡技術有限公司
代理機構 北京市鑄成律師事務所 代理人 鄧海鴻;楊瑾瑾
地址 100195北京市海淀區(qū)東冉北街9號寶藍金園國際中心B段三層3009號
法律狀態(tài) -

摘要

摘要 本申請?zhí)岢鲆环N數(shù)據(jù)去重處理方法、裝置、設備及存儲介質，通過目標數(shù)據(jù)塊的目標哈希值，確定該目標哈希值的歷史出現(xiàn)次數(shù)是否大于或等于預設次數(shù)，在該目標數(shù)據(jù)塊的目標哈希值的歷史出現(xiàn)次數(shù)大于或等于預設次數(shù)的情況下，確定該目標數(shù)據(jù)塊為重復數(shù)據(jù)塊，并向預設設備反饋該目標數(shù)據(jù)塊在存儲系統(tǒng)中的實際存儲位置。在對目標數(shù)據(jù)塊進行檢索的過程中，參考了該目標數(shù)據(jù)塊的目標哈希值的歷史出現(xiàn)次數(shù)來確定該目標數(shù)據(jù)塊是否為重復數(shù)據(jù)塊。而記錄目標哈希值的歷史出現(xiàn)次數(shù)所需的存儲空間較小，從而提高了目標數(shù)據(jù)塊的檢索效率，促進了去重技術在超大規(guī)模存儲中的應用。