一種基于文本信息抽取結果的去重方法、系統(tǒng)以及介質

基本信息

申請?zhí)?/td> CN202110341478.0 申請日 -
公開（公告）號 CN112989791A 公開（公告）日 2021-06-18
申請公布號 CN112989791A 申請公布日 2021-06-18
分類號 G06F40/205;G06F40/295;G06Q30/08 分類 計算；推算；計數(shù);
發(fā)明人 賈新;李善平;田小亮;張金坤 申請（專利權）人 北京拓普豐聯(lián)信息科技股份有限公司
代理機構 鄭州德勤知識產(chǎn)權代理有限公司 代理人 張微微
地址 100000 北京市朝陽區(qū)北四環(huán)中路華嚴北里健翔3號地峻峰華亭嘉園C座住宅樓2011
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于文本信息抽取結果的去重方法、系統(tǒng)以及介質，其中所述去重方法具體包括以下步驟：對公共資源交易信息所在網(wǎng)頁進行結構化抽取，將抽取結果以文本數(shù)據(jù)記錄形式存儲在數(shù)據(jù)集中；根據(jù)預設多重分類規(guī)則對數(shù)據(jù)集中所有文本數(shù)據(jù)記錄進行細分；基于標題和預設實體字段進行組內(nèi)判重，當組內(nèi)存在重復文本數(shù)據(jù)記錄時，基于網(wǎng)站類型和實體字段對重復文本數(shù)據(jù)記錄進行評分，并根據(jù)評分進行重復文本數(shù)據(jù)記錄的合并。