基于Bert模型的文本中句子生成方法和裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN202210325354.8 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN114692571A | 公開(kāi)（公告）日 | 2022-07-01 |
| 申請(qǐng)公布號(hào) | CN114692571A | 申請(qǐng)公布日 | 2022-07-01 |
| 分類號(hào) | G06F40/126（2020.01）I;G06F40/216（2020.01）I;G06F40/289（2020.01）I;G06K9/62（2022.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 陳潔松;范洪輝;朱洪錦;吳航;楊昌宇;張翔平;盛小春 | 申請(qǐng)（專利權(quán)）人 | 江蘇理工學(xué)院 |
| 代理機(jī)構(gòu) | 常州佰業(yè)騰飛專利代理事務(wù)所（普通合伙） | 代理人 | - |
| 地址 | 213001江蘇省常州市中吳大道1801號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供了一種基于Bert模型的文本中句子生成方法和裝置，該方法包括以下步驟：在模型輸入層對(duì)輸入的源語(yǔ)句進(jìn)行編碼以獲取輸入矩陣；在Bert?base編碼層采用Bert模型對(duì)輸入矩陣進(jìn)行編碼，疊加12層Transformer，取最后一層的輸出作為Bert?base編碼層的輸出；在解碼端采用Transformerdecoder端的網(wǎng)絡(luò)對(duì)Bert?base編碼層的輸出進(jìn)行順序解碼以生成解碼端的輸出；在softmax的激活層將解碼端的輸出映射到詞表上以獲取每個(gè)單詞概率的輸出向量；根據(jù)每個(gè)單詞概率的輸出向量生成相應(yīng)的句子。由此，采用Bert模型能夠自動(dòng)生成文本中句子，從而人工提供訓(xùn)練數(shù)據(jù)，大大節(jié)省了人力物力資源。 |
