一種基于BERT和BiGRU融合注意力機(jī)制的實(shí)體關(guān)系抽取方法

基本信息

申請(qǐng)?zhí)?/td> CN202111551310.9 申請(qǐng)日 -
公開（公告）號(hào) CN114510576A 公開（公告）日 2022-05-17
申請(qǐng)公布號(hào) CN114510576A 申請(qǐng)公布日 2022-05-17
分類號(hào) G06F16/36（2019.01）I;G06F16/35（2019.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06K9/62（2022.01）I;G06F40/284（2020.01）I;G06F40/216（2020.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 周煥來(lái);李嘉豪;喬磊崖;曾靚;李金潤(rùn);劉桐;賈海濤;王俊 申請(qǐng)（專利權(quán)）人 一拓通信集團(tuán)股份有限公司
代理機(jī)構(gòu) - 代理人 -
地址 210000江蘇省南京市江蘇自貿(mào)區(qū)南京片區(qū)浦濱路320號(hào)科創(chuàng)一號(hào)大廈B座701室
法律狀態(tài) -

摘要

摘要 本發(fā)明提出采用BERT模型和BiGRU網(wǎng)絡(luò)并融入注意力機(jī)制的實(shí)體關(guān)系抽取方法。該方法使用BERT作為神經(jīng)網(wǎng)絡(luò)模型嵌入層，使用動(dòng)態(tài)詞向量對(duì)中文進(jìn)行編碼，彌補(bǔ)了word2vec在解決多義詞問題上的不足；基于GRU更好地處理序列化任務(wù)的能力和CNN提取局部特征的突出性能，改善了單個(gè)神經(jīng)網(wǎng)絡(luò)模型特征提取不足的問題；結(jié)合了注意力機(jī)制，輸出特征通過(guò)注意力機(jī)制加權(quán)，使得對(duì)關(guān)系分類影響較大的詞通過(guò)注意力機(jī)制加權(quán)，從而提高分類精度。