一種基于Transformer的中文新聞分類方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010375567.2 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN111666373A | 公開（公告）日 | 2020-09-15 |
| 申請(qǐng)公布號(hào) | CN111666373A | 申請(qǐng)公布日 | 2020-09-15 |
| 分類號(hào) | G06F16/33(2019.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 范夢(mèng)真;楊芳洲;劉金;羅軼鳳;錢衛(wèi)寧;周傲英 | 申請(qǐng)（專利權(quán)）人 | 上海瞰點(diǎn)科技有限責(zé)任公司 |
| 代理機(jī)構(gòu) | 上海藍(lán)迪專利商標(biāo)事務(wù)所（普通合伙） | 代理人 | 華東師范大學(xué);上海瞰點(diǎn)科技有限責(zé)任公司 |
| 地址 | 200241上海市閔行區(qū)東川路500號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于Transformer的中文新聞分類方法，其特點(diǎn)是采用可并行的Transformer?Encoder來(lái)對(duì)文本序列進(jìn)行編碼，采用“詞?句?文章”多層的網(wǎng)絡(luò)來(lái)提取新聞的文本信息，利用attention機(jī)制來(lái)降維得到文章級(jí)別的向量，并且結(jié)合NER命名實(shí)體識(shí)別技術(shù)引入實(shí)體信息來(lái)豐富特征，最后融合兩部分特征輸入分類器，訓(xùn)練得到分類模型，提高分類模型訓(xùn)練的效率和預(yù)測(cè)的精度。本發(fā)明在某領(lǐng)域的文本分類任務(wù)上，相比于現(xiàn)有的分類模型，可并行化的序列編碼方式降低了模型訓(xùn)練的時(shí)間開銷，attention機(jī)制和加入實(shí)體信息提高了模型對(duì)重要信息的識(shí)別能力，同時(shí)，識(shí)別了新聞中的實(shí)體信息，減少了機(jī)器閱讀文字的歧義。?? |
