一種基于雙向Transformer模型的層級標(biāo)簽抽取方法

基本信息

申請?zhí)?/td> CN202111021402.6 申請日 -
公開（公告）號 CN113705704A 公開（公告）日 2021-11-26
申請公布號 CN113705704A 申請公布日 2021-11-26
分類號 G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 金勇;陳宏明;胡林利 申請（專利權(quán)）人 武漢長江通信產(chǎn)業(yè)集團(tuán)股份有限公司
代理機(jī)構(gòu) 上海精晟知識產(chǎn)權(quán)代理有限公司 代理人 劉點(diǎn)
地址 430000湖北省武漢市東湖開發(fā)區(qū)關(guān)東工業(yè)園文華路2號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于雙向Transformer模型的層級標(biāo)簽抽取方法，包括如下步驟：通過無監(jiān)督預(yù)訓(xùn)練文本數(shù)據(jù)得到特征向量；利用雙向Transformer模型對特征向量進(jìn)一步調(diào)優(yōu)；結(jié)合多層標(biāo)簽知識庫體系，利用softmax和人工標(biāo)注標(biāo)簽對嵌套Multi?Class分類模型進(jìn)行監(jiān)督式訓(xùn)練；最后輸出層級預(yù)測標(biāo)簽。本發(fā)明采用雙向Transformer模型，結(jié)合多級標(biāo)簽嵌套到multi?class分類模型中學(xué)習(xí)訓(xùn)練。本發(fā)明方法實(shí)現(xiàn)了對于文本多級分類標(biāo)簽的學(xué)習(xí)，可用于網(wǎng)絡(luò)輿情文本的自動標(biāo)簽（某領(lǐng)域的若干特定標(biāo)簽），以及警務(wù)平臺中的案情分析（案件手法的層層深入），從而實(shí)現(xiàn)對于文本數(shù)據(jù)的立體標(biāo)簽化。