一種資訊去重的方法、系統(tǒng)、存儲(chǔ)介質(zhì)及電子設(shè)備
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010202214.2 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN111552864A | 公開（公告）日 | 2020-08-18 |
| 申請(qǐng)公布號(hào) | CN111552864A | 申請(qǐng)公布日 | 2020-08-18 |
| 分類號(hào) | G06F16/9535(2019.01)I;G06F16/9538(2019.01)I | 分類 | - |
| 發(fā)明人 | 陳揚(yáng);陸惠國(guó);顧文斌;樊夢(mèng)軍;徐東劍 | 申請(qǐng)（專利權(quán)）人 | 上海恒生聚源數(shù)據(jù)服務(wù)有限公司 |
| 代理機(jī)構(gòu) | 杭州華鼎知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 上海恒生聚源數(shù)據(jù)服務(wù)有限公司 |
| 地址 | 200127上海市浦東新區(qū)峨山路91弄61號(hào)7樓 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種資訊去重的方法、系統(tǒng)、存儲(chǔ)介質(zhì)及電子設(shè)備，方法包括：對(duì)目標(biāo)資訊的標(biāo)題與去重庫(kù)中資訊的標(biāo)題進(jìn)行重復(fù)判斷；若資訊的標(biāo)題重復(fù)，則對(duì)標(biāo)題重復(fù)的資訊進(jìn)行去重處理；若資訊的標(biāo)題不重復(fù)，則對(duì)目標(biāo)資訊的內(nèi)容與去重庫(kù)中資訊的內(nèi)容進(jìn)行重復(fù)判斷：獲取目標(biāo)資訊內(nèi)容的simhash碼及去重庫(kù)中各資訊內(nèi)容的simhash碼，并將各simhash碼分為N段M位長(zhǎng)度的子碼，N、M為大于1的自然數(shù)；基于各子碼建立去重庫(kù)中對(duì)應(yīng)資訊的索引；對(duì)目標(biāo)資訊的內(nèi)容與去重庫(kù)中相同子碼對(duì)應(yīng)的資訊的內(nèi)容進(jìn)行重復(fù)判斷，若資訊的內(nèi)容重復(fù)，則對(duì)內(nèi)容重復(fù)的資訊進(jìn)行去重處理。通過(guò)使用本發(fā)明，可以快速、準(zhǔn)確的實(shí)現(xiàn)資訊重復(fù)的判斷。?? |
