一種基于多種信息融合的微博信息過濾方法

基本信息

申請?zhí)?/td> CN201410487114.3 申請日 -
公開（公告）號 CN104239539A 公開（公告）日 2014-12-24
申請公布號 CN104239539A 申請公布日 2014-12-24
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 閆碧瑩;余雷;袁偉;鄧攀;趙鑫 申請（專利權(quán)）人 中科明遠(yuǎn)（北京）并行軟件有限公司
代理機(jī)構(gòu) 北京永創(chuàng)新實(shí)專利事務(wù)所 代理人 中科嘉速（北京）并行軟件有限公司;中科嘉速（北京）信息技術(shù)有限公司
地址 100190 北京市海淀區(qū)中關(guān)村南四街4號
法律狀態(tài) -

摘要

摘要 本發(fā)明提出一種基于多種信息融合的微博信息過濾方法，屬于智能信息處理技術(shù)領(lǐng)域。方法包括：步驟1，構(gòu)建分布式爬蟲，抓取微博數(shù)據(jù)；步驟2，對微博數(shù)據(jù)進(jìn)行預(yù)處理；步驟3，對微博數(shù)據(jù)進(jìn)行中文分詞，去除停用詞，獲取分詞結(jié)果，得到詞集合VOC；步驟4，從微博內(nèi)容角度提取特征；步驟5，從用戶角度提取微博特征；步驟6，從傳播路徑提取特征；步驟7，構(gòu)建分類模型，篩選非垃圾微博；本發(fā)明通過結(jié)合微博信息去重和分類學(xué)習(xí)算法去除微博垃圾信息的雙重過程，實(shí)現(xiàn)微博信息過濾，既過濾掉重復(fù)微博信息，又過濾掉垃圾微博信息。