基于BiLSTM和注意力機(jī)制的圖文多模態(tài)情感識(shí)別方法

基本信息

申請(qǐng)?zhí)?/td> CN202111021378.6 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113705703A 公開(kāi)（公告）日 2021-11-26
申請(qǐng)公布號(hào) CN113705703A 申請(qǐng)公布日 2021-11-26
分類號(hào) G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 金勇;胡林利;陳宏明 申請(qǐng)（專利權(quán)）人 武漢長(zhǎng)江通信產(chǎn)業(yè)集團(tuán)股份有限公司
代理機(jī)構(gòu) 上海精晟知識(shí)產(chǎn)權(quán)代理有限公司 代理人 劉點(diǎn)
地址 430000湖北省武漢市東湖開(kāi)發(fā)區(qū)關(guān)東工業(yè)園文華路2號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了基于BiLSTM和注意力機(jī)制的圖文多模態(tài)情感識(shí)別方法，包括如下步驟：采集文本數(shù)據(jù)和圖片數(shù)據(jù)；向量預(yù)處理，文本和圖片先單獨(dú)進(jìn)行向量表達(dá)；文本向量和圖片向量各自均經(jīng)過(guò)注意力機(jī)制attention和GRU模型的結(jié)合訓(xùn)練；文本和圖片的向量聯(lián)合起來(lái)通過(guò)softmax函數(shù)進(jìn)行最終綜合結(jié)果的識(shí)別。本發(fā)明采用WORD2VEC和CNN技術(shù)分別對(duì)文本和圖片進(jìn)行預(yù)處理得到初步向量表達(dá)，然后采用BiLSTM、GRU和注意力機(jī)制進(jìn)行交叉訓(xùn)練，再將結(jié)果融合到softmax層進(jìn)行最終監(jiān)督式標(biāo)簽識(shí)別。實(shí)驗(yàn)針對(duì)19000條以上的數(shù)據(jù)（每條數(shù)據(jù)包含文本和圖片）進(jìn)行模型訓(xùn)練分析，結(jié)果證明融合了圖片和文字的機(jī)器學(xué)習(xí)效果更好。