一種基于改進(jìn)的TF-IDF的文章分類方法

基本信息

申請(qǐng)?zhí)?/td> CN201811393043.5 申請(qǐng)日 -
公開（公告）號(hào) CN109543037A 公開（公告）日 2019-03-29
申請(qǐng)公布號(hào) CN109543037A 申請(qǐng)公布日 2019-03-29
分類號(hào) G06F16/35（2019.01）I; G06K9/62（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 唐杰 申請(qǐng)（專利權(quán)）人 南京安訊科技有限責(zé)任公司
代理機(jī)構(gòu) 大連至誠(chéng)專利代理事務(wù)所（特殊普通合伙） 代理人 南京安訊科技有限責(zé)任公司
地址 210012 江蘇省南京市雨花臺(tái)區(qū)軟件大道119號(hào)5幢201-206室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于改進(jìn)的TF?IDF的文章分類方法，具體包括步驟S1：采用中文分詞系統(tǒng)對(duì)文本進(jìn)行預(yù)處理，去除文本中的分詞；S2：通過文本特征項(xiàng)對(duì)文本進(jìn)行特征選擇，使用改進(jìn)的TF?IDF權(quán)值計(jì)算方法計(jì)算特征項(xiàng)權(quán)值；S3：使用SVM分類器對(duì)訓(xùn)練集中的已知類別文本進(jìn)行學(xué)習(xí)獲得滿足分類標(biāo)準(zhǔn)的SVM分類器；S4：采用滿足分類標(biāo)準(zhǔn)的SVM分類器對(duì)集合文本進(jìn)行分類。本方法在對(duì)文章分類過程中引入卡方統(tǒng)計(jì)量CHI和特征詞在文本中的位置作為修正因子并結(jié)合傳統(tǒng)TF?IDF權(quán)值計(jì)算公式，很好的解決了特征詞在類間分布以及關(guān)鍵詞重要程度不足的問題，達(dá)到了迅速對(duì)文本分來的效果。