一種建立短文本多層級(jí)分類模型的方法和系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202111636972.6 申請(qǐng)日 -
公開（公告）號(hào) CN114579737A 公開（公告）日 2022-06-03
申請(qǐng)公布號(hào) CN114579737A 申請(qǐng)公布日 2022-06-03
分類號(hào) G06F16/35（2019.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王亞平;林文輝;王志剛;馬蘭;李瑞祥;伺彥偉;祁洪波 申請(qǐng)（專利權(quán)）人 河北航天信息技術(shù)有限公司
代理機(jī)構(gòu) 北京工信聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 代理人 -
地址 100195北京市海淀區(qū)杏石口路甲18號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明實(shí)施例公開了一種建立短文本多層級(jí)分類模型的方法和系統(tǒng)，所述方法包括：對(duì)同一份短文本數(shù)據(jù)集，按照設(shè)置的不同層級(jí)的短文本類別標(biāo)簽進(jìn)行標(biāo)注后生成的不同層級(jí)的標(biāo)注數(shù)據(jù)集，并將其作為輸入，對(duì)基于公開的預(yù)訓(xùn)練模型Bert base后接全連接層建立的分類模型分層級(jí)進(jìn)行訓(xùn)練，生成不同層級(jí)的分類模型，并在訓(xùn)練下一層級(jí)分類模型時(shí)，將上一層級(jí)經(jīng)過微調(diào)的預(yù)訓(xùn)練模型Bert base的部分訓(xùn)練參數(shù)遷移到下一層級(jí)初始預(yù)訓(xùn)練模型Bert base的對(duì)應(yīng)部分，最后將生成的多層級(jí)的分類模型進(jìn)行組合生成最終的分類模型。所述方法和系統(tǒng)可有效擴(kuò)增每種類別下的數(shù)據(jù)總量，解決模型訓(xùn)練的數(shù)據(jù)稀疏度問題；并對(duì)低層級(jí)的分類學(xué)習(xí)，通過遷移高層級(jí)分類模型的通用參數(shù)提升訓(xùn)練效果。