一種面向微博的動(dòng)態(tài)主題檢測(cè)與演變追蹤方法

基本信息

申請(qǐng)?zhí)?/td> CN201410488391.6 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN104199974A 公開(kāi)（公告）日 2014-12-10
申請(qǐng)公布號(hào) CN104199974A 申請(qǐng)公布日 2014-12-10
分類(lèi)號(hào) G06F17/30(2006.01)I;G06F17/27(2006.01)I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 閆碧瑩;鄧攀;余雷;趙鑫;袁偉;萬(wàn)安格 申請(qǐng)（專(zhuān)利權(quán)）人 中科明遠(yuǎn)（北京）并行軟件有限公司
代理機(jī)構(gòu) 北京永創(chuàng)新實(shí)專(zhuān)利事務(wù)所 代理人 趙文利
地址 100190 北京市海淀區(qū)中關(guān)村南四街4號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提出一種面向微博的動(dòng)態(tài)主題檢測(cè)與演變追蹤方法，屬于智能信息處理技術(shù)領(lǐng)域。方法包括：步驟1，構(gòu)建分布式爬蟲(chóng)，獲取微博數(shù)據(jù)；步驟2，對(duì)微博數(shù)據(jù)進(jìn)行預(yù)處理；步驟3，進(jìn)行中文分詞去除停用詞，獲取詞集合VOC；步驟4，對(duì)各個(gè)時(shí)間區(qū)間的微博數(shù)據(jù)進(jìn)行LDA聚類(lèi)，提取潛在主題；步驟5，篩選出每個(gè)時(shí)間區(qū)間內(nèi)的微博熱門(mén)主題；步驟6，對(duì)全局時(shí)間的熱門(mén)主題進(jìn)行層次聚類(lèi)，獲取各主題之間的聚合和分化關(guān)系；步驟7，根據(jù)主題的聚合和分化關(guān)系，可視化主題演變過(guò)程。本發(fā)明以較低的時(shí)間復(fù)雜度挖掘出一個(gè)事件在不同時(shí)期的主題詞分布和同一個(gè)主題在不同時(shí)期的細(xì)粒度主題，具有高效性、魯棒性等優(yōu)點(diǎn)，具有較大的實(shí)用價(jià)值。