一種基于頻繁詞集的網(wǎng)絡(luò)新聞自動文本分類的方法

基本信息

申請?zhí)?/td> CN201210244558.5 申請日 -
公開（公告）號 CN102799666B 公開（公告）日 2015-01-21
申請公布號 CN102799666B 申請公布日 2015-01-21
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 歐陽元新;袁滿;趙海;熊璋 申請（專利權(quán)）人 北京洛克威爾科技有限公司
代理機(jī)構(gòu) 北京科迪生專利代理有限責(zé)任公司 代理人 楊學(xué)明;顧煒
地址 100191 北京市海淀區(qū)學(xué)院路37號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于頻繁詞集的網(wǎng)絡(luò)新聞自動文本分類的方法，該方法具體為：步驟（1）數(shù)據(jù)預(yù)處理和特征選擇；步驟（2）提取頻繁詞集；步驟（3）基于頻繁詞集的文本表示；步驟（4）訓(xùn)練分類器并對文本進(jìn)行分類。本發(fā)明能夠利用頻繁詞集的新的約束參數(shù)AD-Sup，使頻繁特征具有更好的類別區(qū)分能力。并且針對頻繁特征上的數(shù)據(jù)稀疏性問題，提出了基于特征相似度的權(quán)重計算方法，有效的降低了文檔在新增頻繁詞特征上的數(shù)據(jù)稀疏性。