一種基于多頭自注意力機(jī)制的動(dòng)態(tài)元嵌入方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010367701.4 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN111581351A | 公開（公告）日 | 2020-08-25 |
| 申請(qǐng)公布號(hào) | CN111581351A | 申請(qǐng)公布日 | 2020-08-25 |
| 分類號(hào) | G06F16/33(2019.01)I | 分類 | - |
| 發(fā)明人 | 王春輝;胡勇 | 申請(qǐng)（專利權(quán)）人 | 識(shí)因智能科技（北京）有限公司 |
| 代理機(jī)構(gòu) | 北京中北知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 識(shí)因智能科技（北京）有限公司 |
| 地址 | 102600北京市大興區(qū)宏福路8號(hào)1層133室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開一種基于多頭自注意力機(jī)制的動(dòng)態(tài)元嵌入方法。所述方法包括：將輸入句子中的每個(gè)詞表示為詞向量序列，將每個(gè)詞向量映射到同一維度，基于多頭自注意力機(jī)制計(jì)算嵌入矩陣，得到元嵌入表示的詞向量矩陣。本發(fā)明利用多頭自注意力機(jī)制進(jìn)行多次計(jì)算，解決了現(xiàn)有DME、CDME動(dòng)態(tài)元嵌入方法使用句子級(jí)別的自注意力確定不同嵌入集的權(quán)重，其中自注意力方法著重于學(xué)習(xí)各個(gè)詞向量線性回歸的參數(shù)，缺乏多角度的綜合考慮，容易造成元嵌入權(quán)重的學(xué)習(xí)不充分的問題。?? |
