參考多模態(tài)信息的文本摘要生成方法、電子設備及介質(zhì)

基本信息

申請?zhí)?/td> CN202210104367.2 申請日 -
公開（公告）號 CN114491006A 公開（公告）日 2022-05-13
申請公布號 CN114491006A 申請公布日 2022-05-13
分類號 G06F16/34（2019.01）I;G06F16/35（2019.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V30/40（2022.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 張梓鍵;付衛(wèi)婷 申請（專利權）人 浙江同善人工智能技術有限公司
代理機構(gòu) 上海科盛知識產(chǎn)權代理有限公司 代理人 -
地址 314113浙江省嘉興市嘉善縣大云鎮(zhèn)創(chuàng)業(yè)路555號E1幢
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種參考多模態(tài)信息的文本摘要生成方法、電子設備及介質(zhì)，包括編碼步驟和解碼步驟；編碼步驟包括：通過特征映射獲取多模態(tài)信息的序列化特征，多模態(tài)信息包括文本信息、音頻信息和圖像信息；通過注意力機制對多模態(tài)信息的序列化特征進行增強，獲得多模態(tài)信息的增強特征；對多模態(tài)信息的增強特征進行分類，獲得若干類增強特征集合；將若干類增強特征集合一一對應輸入若干個前饋神經(jīng)網(wǎng)絡中，對應獲得若干組融合特征；將若干組融合特征拼接成特征融合向量；解碼步驟包括：通過跨注意力機制，以特征融合向量作為隱狀態(tài)輸入，對文本信息的增強特征與特征融合向量進行特征融合，生成文本摘要。與現(xiàn)有技術相比，本發(fā)明具有效率高、準確性高等優(yōu)點。