一種基于前端重復(fù)數(shù)據(jù)刪除的方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011182863.7 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN112380197A | 公開（公告）日 | 2021-02-19 |
| 申請(qǐng)公布號(hào) | CN112380197A | 申請(qǐng)公布日 | 2021-02-19 |
| 分類號(hào) | G06F16/215(2019.01)I;G06F11/14(2006.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 鄔玉良 | 申請(qǐng)（專利權(quán)）人 | 中科熱備（北京）云計(jì)算技術(shù)有限公司 |
| 代理機(jī)構(gòu) | - | 代理人 | - |
| 地址 | 100080北京市海淀區(qū)海淀蘇州街18號(hào)院-4樓8層807-3 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明一種基于前端重復(fù)數(shù)據(jù)刪除的方法,屬于計(jì)算機(jī)數(shù)據(jù)安全處理領(lǐng)域。本發(fā)明的目的是為了實(shí)現(xiàn)業(yè)務(wù)上基于前端數(shù)據(jù)重復(fù)刪除的技術(shù)。文件的重刪是基于一定算法實(shí)現(xiàn)，比如MD5算法、Sha算法、hash算法，進(jìn)行文件哈希值計(jì)算，對(duì)重復(fù)的數(shù)據(jù)只記錄一份，其他的重復(fù)數(shù)據(jù)保留一個(gè)地址引用。塊存儲(chǔ)重刪一般采用定長(zhǎng)重刪或變長(zhǎng)重刪技術(shù)，定長(zhǎng)重刪就是把寫入的數(shù)據(jù)按照固定長(zhǎng)度進(jìn)行切片，切片后進(jìn)行hash計(jì)算，然后進(jìn)行寫入處理，非重復(fù)數(shù)據(jù)就單獨(dú)寫入，重復(fù)數(shù)據(jù)就寫入引用即可。反之變長(zhǎng)也類似，但變長(zhǎng)重刪對(duì)性能和算法要求都比較高，對(duì)CPU內(nèi)存消耗較大，影響了數(shù)據(jù)的實(shí)時(shí)處理效率。?? |
