一種基于指紋的網(wǎng)頁(yè)快速去重算法

基本信息

申請(qǐng)?zhí)?/td> CN201210414947.8 申請(qǐng)日 -
公開（公告）號(hào) CN103778163A 公開（公告）日 2014-05-07
申請(qǐng)公布號(hào) CN103778163A 申請(qǐng)公布日 2014-05-07
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李旭日 申請(qǐng)（專利權(quán)）人 廣州市邦富軟件有限公司
代理機(jī)構(gòu) - 代理人 -
地址 510635 廣東省廣州市天河區(qū)天河軟件園高塘新建區(qū)廣州互聯(lián)網(wǎng)產(chǎn)業(yè)園1號(hào)樓第五層A501-A510房
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于指紋的網(wǎng)頁(yè)快速去重算法，該算法采用基于內(nèi)容特征提取的方式來(lái)進(jìn)行去重，內(nèi)容特征的提取方式主要基于代表內(nèi)容含義的關(guān)鍵詞序列提取，再將關(guān)鍵詞序列利用散列算法生成唯一的指紋；如果指紋庫(kù)為空，則將該指紋添加入指紋庫(kù)。如果不為空，則將跟指紋與指紋庫(kù)對(duì)比。如果存在相同指紋，則代表該網(wǎng)頁(yè)已經(jīng)有雷同網(wǎng)頁(yè)存在；采用本技術(shù)方法的去重算法可以有效的應(yīng)對(duì)在標(biāo)題或者內(nèi)容后添加隨時(shí)碼，或者對(duì)標(biāo)題內(nèi)容進(jìn)行部分刪減以及調(diào)整段落位置的情況，能夠有效的提高性能。