樣本數(shù)據(jù)處理的方法、裝置、計算機程序產(chǎn)品和存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202111417183.3 申請日 -
公開（公告）號 CN114219012A 公開（公告）日 2022-03-22
申請公布號 CN114219012A 申請公布日 2022-03-22
分類號 G06K9/62（2022.01）I;G06F40/295（2020.01）I;G06F40/211（2020.01）I;G06F40/289（2020.01）I 分類 計算；推算；計數(shù);
發(fā)明人 李東超;崔鳴 申請（專利權(quán)）人 北京房江湖科技有限公司
代理機構(gòu) 北京思源智匯知識產(chǎn)權(quán)代理有限公司 代理人 王曉多
地址 101300北京市順義區(qū)楊鎮(zhèn)二街村農(nóng)場路62號24室
法律狀態(tài) -

摘要

摘要 本公開實施例公開了一種樣本數(shù)據(jù)處理的方法、裝置、計算機程序產(chǎn)品和存儲介質(zhì)，其中，方法包括：獲取待處理的文本集；確定樣本文本的句法結(jié)構(gòu)以及句法結(jié)構(gòu)在文本集中的數(shù)量占比；將樣本文本輸入命名實體識別模型，確定樣本文本中的字的邊界標(biāo)簽及邊界標(biāo)簽的置信度；基于邊界標(biāo)簽確定樣本文本中包括的實體，并確定實體的F值以及類型標(biāo)簽；確定實體的類型標(biāo)簽在文本集中的數(shù)量占比；基于實體的類型標(biāo)簽在文本集中的數(shù)量占比、實體的F值以及句法結(jié)構(gòu)在文本集中的數(shù)量占比，確定樣本文本的支持度；基于邊界標(biāo)簽的置信度，確定樣本文本的混淆度；基于樣本文本的支持度、混淆度、預(yù)設(shè)的支持度閾值和混淆度閾值，從文本集中獲取目標(biāo)樣本文本。