一種文本去重方法及系統(tǒng)
基本信息
| 申請?zhí)?/td> | CN201810134643.3 | 申請日 | - |
| 公開（公告）號(hào) | CN108345586B | 公開（公告）日 | 2021-04-02 |
| 申請公布號(hào) | CN108345586B | 申請公布日 | 2021-04-02 |
| 分類號(hào) | G06F40/211(2020.01)I;G06F40/284(2020.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 孫世通;劉德彬;萬杰;嚴(yán)開;陳瑋 | 申請（專利權(quán)）人 | 重慶電信系統(tǒng)集成有限公司 |
| 代理機(jī)構(gòu) | 重慶志合專利事務(wù)所（普通合伙） | 代理人 | 胡榮琿 |
| 地址 | 400021重慶市渝中區(qū)大坪正街51號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供一種文本去重方法，包括以下步驟，目標(biāo)文本數(shù)據(jù)預(yù)處理步驟；生成目標(biāo)文本正文局部敏感哈希值和目標(biāo)文本標(biāo)題局部敏感哈希值步驟；去重步驟。本發(fā)明針對網(wǎng)絡(luò)文本獨(dú)有的特性，在應(yīng)用SimHash算法的策略上做出調(diào)整，在以新聞文本背后事件為主體進(jìn)行去重時(shí)，獲得更優(yōu)效果與更高魯棒性。?? |
