一種結(jié)合多頭自注意力機(jī)制的CNN文本分類方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010040278.7 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN111259666A | 公開（公告）日 | 2020-06-09 |
| 申請(qǐng)公布號(hào) | CN111259666A | 申請(qǐng)公布日 | 2020-06-09 |
| 分類號(hào) | G06F40/289(2020.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 劉星辰;陳曉峰;麻沁甜 | 申請(qǐng)（專利權(quán)）人 | 上海勃池信息技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 上海領(lǐng)洋專利代理事務(wù)所（普通合伙） | 代理人 | 上海勃池信息技術(shù)有限公司 |
| 地址 | 200000上海市嘉定區(qū)匯源路55號(hào)8幢5層517室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開一種結(jié)合多頭自注意力機(jī)制的CNN文本分類方法,包括：獲取待分類文本的分詞序列，并進(jìn)行特殊符號(hào)和停止詞過(guò)濾等預(yù)處理；查詢預(yù)設(shè)或隨機(jī)初始化的詞嵌入模型獲取分詞序列的嵌入矩陣，矩陣的每一行為各分詞的嵌入向量；針對(duì)所得嵌入矩陣的各行向量，疊加該向量對(duì)應(yīng)分詞的位置編碼向量；對(duì)疊加位置編碼后的嵌入矩陣通過(guò)自注意力機(jī)制生成自注意力矩陣；重復(fù)若干次自注意力矩陣的生成，將生成的多個(gè)矩陣在列的維度上進(jìn)行拼接；將詞序列拼接后的自注意力矩陣與加權(quán)矩陣相乘，實(shí)現(xiàn)降維和融合；將降維和融合后的自注意力矩陣輸入CNN，進(jìn)行訓(xùn)練或者預(yù)測(cè)。?? |
