一種基于通道和空間維度的詞向量訓(xùn)練方法

基本信息

申請?zhí)?/td> CN201910954979.9 申請日 -
公開（公告）號 CN110705315A 公開（公告）日 2020-01-17
申請公布號 CN110705315A 申請公布日 2020-01-17
分類號 G06F40/40;G06N3/04;G06N3/08 分類 計算；推算；計數(shù);
發(fā)明人 柴志偉;趙路路 申請（專利權(quán)）人 上海深擎信息科技有限公司
代理機構(gòu) 長沙國科天河知識產(chǎn)權(quán)代理有限公司 代理人 上海深擎信息科技有限公司;寧波深擎信息科技有限公司
地址 315000 浙江省寧波市鎮(zhèn)海區(qū)福業(yè)街55號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于通道和空間維度的詞向量訓(xùn)練方法，該方法包括：獲取訓(xùn)練語料，建立訓(xùn)練語料庫。獲取訓(xùn)練預(yù)料庫中的每個訓(xùn)練語料中每個字的拼接特征向量。根據(jù)每個字的拼接特征向量，提取每個字的上下文特征向量和通道結(jié)構(gòu)特征向量并進行融合，得到每個字對應(yīng)的refined特征向量。每個字對應(yīng)的refined特征向量經(jīng)過分類器，損失函數(shù)訓(xùn)練，最終生成每個字對應(yīng)的詞向量。本發(fā)明融合的特征更加豐富，且在變壓編碼塊特征提取器提取深層特征向量即為每個字對應(yīng)的上下文特征向量的基礎(chǔ)上，增加了通過卷積塊注意力模塊在通道維度增加注意力機制提取每個字對應(yīng)的通道結(jié)構(gòu)特征向量，增強深度學(xué)習(xí)向量的語意表達能力。