一種使用LDA的文本分類(lèi)篩選方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011123125.5 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN112667806A | 公開(kāi)（公告）日 | 2021-04-16 |
| 申請(qǐng)公布號(hào) | CN112667806A | 申請(qǐng)公布日 | 2021-04-16 |
| 分類(lèi)號(hào) | G06F16/35;G06F16/335;G06F16/31;G06F40/211;G06F40/216;G06F40/242;G06F40/30;G06K9/62;G06N20/00 | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 趙博;呂建文;周興暉;陳力;薛柔月;金鑫;蔣尚秀 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 上海金橋信息股份有限公司 |
| 代理機(jī)構(gòu) | 北京科迪生專(zhuān)利代理有限責(zé)任公司 | 代理人 | 張乾楨 |
| 地址 | 200234 上海市徐匯區(qū)田林路487號(hào)25號(hào)樓 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提出了一種使用了LDA的文本分類(lèi)篩選方法，包括：獲取一個(gè)數(shù)據(jù)集，內(nèi)容包括多個(gè)短句；使用自然語(yǔ)言處理方法，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，以及進(jìn)行清洗和整理；確定一個(gè)主題，人工選擇若干符合主題的文本句子；用所述選擇的文本句子，使用詞袋模型建立對(duì)應(yīng)文本向量矩陣；用所述向量矩陣去訓(xùn)練第一LDA模型；用所述第一LDA模型篩選文本中剩余的句子，計(jì)算該文本集合與第一LDA主題計(jì)算所得到的多個(gè)話(huà)題詞之間的相關(guān)性，并以此作為評(píng)價(jià)一個(gè)句子是否滿(mǎn)足選定主題模型的閾值；加入通過(guò)話(huà)題相關(guān)性篩選的文本，再訓(xùn)練第二LDA模型；用所述第二LDA模型，對(duì)文本中剩余的句子再用余弦相似去判斷和篩選；將所述總共三次篩選的句子作為符合篩選目標(biāo)的文本數(shù)據(jù)。 |
