命名實體識別數(shù)據(jù)增強的方法、裝置、電子設(shè)備和介質(zhì)

基本信息

申請?zhí)?/td> CN202110820558.4 申請日 -
公開（公告）號 CN113516196A 公開（公告）日 2021-10-19
申請公布號 CN113516196A 申請公布日 2021-10-19
分類號 G06K9/62（2006.01）I;G06F40/295（2020.01）I 分類 計算；推算；計數(shù);
發(fā)明人 單波;羅杰;魏文軒;徐森;何亮;張勇 申請（專利權(quán)）人 云知聲智能科技股份有限公司
代理機構(gòu) - 代理人 -
地址 100096北京市海淀區(qū)西三旗建材城內(nèi)1幢一層101號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及命名實體識別數(shù)據(jù)增強的方法、裝置、電子設(shè)備和介質(zhì)，該方法包括：獲取第一數(shù)據(jù)集，將第一數(shù)據(jù)集進行擴充得到擴充數(shù)據(jù)集，將擴充數(shù)據(jù)集分為第一份擴充數(shù)據(jù)集和第二份擴充數(shù)據(jù)集；將第一份擴充數(shù)據(jù)集輸入到BERT模型中得到句向量數(shù)據(jù)集；對句向量數(shù)據(jù)集聚類得到聚類結(jié)果；對聚類結(jié)果對抗訓(xùn)練確定簇數(shù)據(jù)集；使用GPT模型微調(diào)簇數(shù)據(jù)集得到第二數(shù)據(jù)集；使用第二數(shù)據(jù)集訓(xùn)練GPT模型得到預(yù)測模型；將第二份擴充數(shù)據(jù)集輸入到預(yù)測模型中得到預(yù)測結(jié)果數(shù)據(jù)集；將預(yù)測結(jié)果數(shù)據(jù)集中的命名實體標(biāo)簽通配符替換為實體詞典中的文字，確定第三數(shù)據(jù)集；將第三數(shù)據(jù)集與第一數(shù)據(jù)集合并得到最終的數(shù)據(jù)集。本申請實施例采用數(shù)據(jù)增強的方式可以減小所需要的數(shù)據(jù)量。