基于BiLSTM和注意力機制的圖文多模態(tài)情感識別方法

基本信息

申請?zhí)?/td> CN202111021378.6 申請日 -
公開（公告）號 CN113705703A 公開（公告）日 2021-11-26
申請公布號 CN113705703A 申請公布日 2021-11-26
分類號 G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 金勇;胡林利;陳宏明 申請（專利權）人 武漢長江通信產業(yè)集團股份有限公司
代理機構 上海精晟知識產權代理有限公司 代理人 劉點
地址 430000湖北省武漢市東湖開發(fā)區(qū)關東工業(yè)園文華路2號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了基于BiLSTM和注意力機制的圖文多模態(tài)情感識別方法，包括如下步驟：采集文本數(shù)據(jù)和圖片數(shù)據(jù)；向量預處理，文本和圖片先單獨進行向量表達；文本向量和圖片向量各自均經過注意力機制attention和GRU模型的結合訓練；文本和圖片的向量聯(lián)合起來通過softmax函數(shù)進行最終綜合結果的識別。本發(fā)明采用WORD2VEC和CNN技術分別對文本和圖片進行預處理得到初步向量表達，然后采用BiLSTM、GRU和注意力機制進行交叉訓練，再將結果融合到softmax層進行最終監(jiān)督式標簽識別。實驗針對19000條以上的數(shù)據(jù)（每條數(shù)據(jù)包含文本和圖片）進行模型訓練分析，結果證明融合了圖片和文字的機器學習效果更好。