基于GlusterFS分布式文件系統(tǒng)的離線去重方法

基本信息

申請?zhí)?/td> CN201711317259.9 申請日 -
公開（公告）號 CN108563649B 公開（公告）日 2021-12-07
申請公布號 CN108563649B 申請公布日 2021-12-07
分類號 G06F16/174;G06F16/182 分類 計算；推算；計數(shù);
發(fā)明人 莊鵬盛;李丹;王凱;張冠梟 申請（專利權(quán)）人 南京富士通南大軟件技術(shù)有限公司
代理機構(gòu) 南京鐘山專利代理有限公司 代理人 戴朝榮
地址 210012 江蘇省南京市雨花臺區(qū)文竹路6號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于GlusterFS分布式文件系統(tǒng)的離線去重方法，包括：計算所有文件的哈希值；將文件的大小和該文件的哈希值作為Key值，建立哈希樹；擇一組大小相同且哈希值相同的多個文件并標記為相同文件；根據(jù)分布式文件系統(tǒng)中每個存儲設(shè)備的剩余容量大小和每個存儲設(shè)備中存儲的相同文件的個數(shù)從分布式文件系統(tǒng)中選擇一個存儲設(shè)備并將該存儲設(shè)備標記為指定移動存儲設(shè)備；將分布式文件系統(tǒng)中的存儲設(shè)備中存儲的相同文件均移動到指定移動存儲設(shè)備中；采用文件去重方法從指定移動存儲設(shè)備中刪除相同文件，保證相同文件只有一份；本發(fā)明有效地解決了分布式存儲中可能存在的大量重復(fù)數(shù)據(jù)的問題，大大提升了分布式存儲系統(tǒng)的存儲能力。