一種建立短文本多層級分類模型的方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN202111636972.6 申請日 -
公開（公告）號 CN114579737A 公開（公告）日 2022-06-03
申請公布號 CN114579737A 申請公布日 2022-06-03
分類號 G06F16/35（2019.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王亞平;林文輝;王志剛;馬蘭;李瑞祥;伺彥偉;祁洪波 申請（專利權(quán)）人 河北航天信息技術(shù)有限公司
代理機構(gòu) 北京工信聯(lián)合知識產(chǎn)權(quán)代理有限公司 代理人 -
地址 100195北京市海淀區(qū)杏石口路甲18號
法律狀態(tài) -

摘要

摘要 本發(fā)明實施例公開了一種建立短文本多層級分類模型的方法和系統(tǒng)，所述方法包括：對同一份短文本數(shù)據(jù)集，按照設(shè)置的不同層級的短文本類別標(biāo)簽進(jìn)行標(biāo)注后生成的不同層級的標(biāo)注數(shù)據(jù)集，并將其作為輸入，對基于公開的預(yù)訓(xùn)練模型Bert base后接全連接層建立的分類模型分層級進(jìn)行訓(xùn)練，生成不同層級的分類模型，并在訓(xùn)練下一層級分類模型時，將上一層級經(jīng)過微調(diào)的預(yù)訓(xùn)練模型Bert base的部分訓(xùn)練參數(shù)遷移到下一層級初始預(yù)訓(xùn)練模型Bert base的對應(yīng)部分，最后將生成的多層級的分類模型進(jìn)行組合生成最終的分類模型。所述方法和系統(tǒng)可有效擴增每種類別下的數(shù)據(jù)總量，解決模型訓(xùn)練的數(shù)據(jù)稀疏度問題；并對低層級的分類學(xué)習(xí)，通過遷移高層級分類模型的通用參數(shù)提升訓(xùn)練效果。