一種云存儲(chǔ)文件級(jí)重復(fù)數(shù)據(jù)刪除檢索系統(tǒng)及方法

基本信息

申請(qǐng)?zhí)?/td> CN201811384763.5 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN109213738B 公開(kāi)(公告)日 2022-01-25
申請(qǐng)公布號(hào) CN109213738B 申請(qǐng)公布日 2022-01-25
分類(lèi)號(hào) G06F16/174(2019.01)I 分類(lèi) 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 董志勇;邱琳;趙航;劉夢(mèng) 申請(qǐng)(專(zhuān)利權(quán))人 烽火科技集團(tuán)有限公司
代理機(jī)構(gòu) 湖北武漢永嘉專(zhuān)利代理有限公司 代理人 許美紅
地址 430223湖北省武漢市東湖高新區(qū)大學(xué)園路23號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種云存儲(chǔ)文件級(jí)重復(fù)數(shù)據(jù)刪除檢索系統(tǒng)及方法,該方法通過(guò)指紋服務(wù)器存儲(chǔ)文件的特征信息,當(dāng)客戶(hù)端提出文件存儲(chǔ)申請(qǐng)時(shí),首先進(jìn)行粗過(guò)濾,在指紋服務(wù)器中進(jìn)行查找,如果沒(méi)有找到具備相同特征的文件記錄,則視該文件為新文件;如果找到,則進(jìn)行細(xì)過(guò)濾,將被找到的文件集視為比對(duì)文件,依次選取比對(duì)文件的隨機(jī)點(diǎn)位和特征區(qū)間,進(jìn)行精確比對(duì),以確認(rèn)請(qǐng)求文件是否已存在,如果是,則在名稱(chēng)服務(wù)器中設(shè)置請(qǐng)求文件的元數(shù)據(jù)指向該比對(duì)文件的元數(shù)據(jù),如果不存在,則將文件存儲(chǔ),并記錄文件特征信息到指紋服務(wù)器中。本發(fā)明通過(guò)粗、細(xì)兩個(gè)步驟的過(guò)濾,能夠大量減少重復(fù)文件的錄入,具有執(zhí)行效率高、重復(fù)數(shù)據(jù)刪除率高的特點(diǎn),適合于大數(shù)據(jù)和云存儲(chǔ)環(huán)境。