基于BERT模型的醫(yī)學(xué)應(yīng)用模型訓(xùn)練方法及裝置
基本信息
| 申請?zhí)?/td> | CN202011159163.6 | 申請日 | - |
| 公開（公告）號 | CN112347773A | 公開（公告）日 | 2021-02-09 |
| 申請公布號 | CN112347773A | 申請公布日 | 2021-02-09 |
| 分類號 | G06F40/284(2020.01)I;G06F40/30(2020.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 劉靜;周永杰;王則遠(yuǎn) | 申請（專利權(quán)）人 | 北京諾道認(rèn)知醫(yī)學(xué)科技有限公司 |
| 代理機(jī)構(gòu) | 北京路浩知識產(chǎn)權(quán)代理有限公司 | 代理人 | 苗曉靜 |
| 地址 | 100161北京市豐臺區(qū)豐臺北路18號3號樓恒泰中心C座801 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明實施例提供的一種基于BERT模型的醫(yī)學(xué)應(yīng)用模型訓(xùn)練方法及裝置，該方法包括：獲取循證醫(yī)學(xué)訓(xùn)練樣本；對所述循證醫(yī)學(xué)訓(xùn)練樣本進(jìn)行實體詞匯屏蔽，得到MLM訓(xùn)練樣本；利用所述MLM訓(xùn)練樣本對BERT模型進(jìn)行MLM訓(xùn)練，得到PICO?BERT模型；其中，所述實體詞匯對應(yīng)于循證醫(yī)學(xué)中具有實際意義的實體；利用屏蔽實體詞匯得到的MLM訓(xùn)練樣本進(jìn)行MLM訓(xùn)練，得到PICO?BERT模型，從而增強(qiáng)模型的整體語義表征能力，使得訓(xùn)練的PICO?BERT模型語義理解能力更強(qiáng)，對特定領(lǐng)域復(fù)雜場景的自然語言問題處理能力更強(qiáng)，能夠更好地在醫(yī)學(xué)領(lǐng)域適用，提高醫(yī)學(xué)領(lǐng)域特定研究場景下的自然語言的理解能力。?? |
