一種基于多模態(tài)學習的視覺對話生成方法及裝置

基本信息

申請?zhí)?/td> CN202110848206.X 申請日 -
公開（公告）號 CN113553418A 公開（公告）日 2021-10-26
申請公布號 CN113553418A 申請公布日 2021-10-26
分類號 G06F16/332（2019.01）I;G06F16/583（2019.01）I;G06F40/211（2020.01）I;G06F40/30（2020.01）I;G06F40/253（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 劉安安;張國楷;徐寧;宋丹;靳國慶;張勇東 申請（專利權）人 人民網(wǎng)股份有限公司
代理機構 天津市北洋有限責任專利代理事務所 代理人 李林娟
地址 300072天津市南開區(qū)衛(wèi)津路92號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于多模態(tài)學習的視覺對話生成方法及裝置，方法包括：利用關鍵信息進行全局上下文信息語義補充，提取與當前問題相關的歷史對話信息，獲取精簡歷史信息；再提取與文本信息相關的視覺區(qū)域信息，獲取精簡視覺信息；將多模態(tài)問題相關信息進行融合得到多模態(tài)問題相關信息，作為答案推理的重要元素；用文本和視覺的問題相關信息對三元組結構化表征進行語義補全，以補全在多模態(tài)信息精簡化過程中損失掉的有效信息；將精簡歷史信息、精簡視覺信息、補全后的多模態(tài)問題相關信息進行特征融合；將特征融合信息送入解碼器中推理得到與當前問題相關的答案。裝置包括：處理器和存儲器。本發(fā)明采用多模態(tài)信息交互，對文本和視覺信息發(fā)掘細粒度關系信息。