一種針對人工智能自然語言處理的BERT算法模型

基本信息

申請?zhí)?/td> CN202110780528.5 申請日 -
公開（公告）號(hào) CN113656072A 公開（公告）日 2021-11-16
申請公布號(hào) CN113656072A 申請公布日 2021-11-16
分類號(hào) G06F9/38（2006.01）I;G06F9/50（2006.01）I;G06F40/211（2020.01）I;G06K9/62（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊龔軼凡;王潤哲;闖小明;鄭瀚尋 申請（專利權(quán)）人 蘇州仰思坪半導(dǎo)體有限公司
代理機(jī)構(gòu) 北京棘龍知識(shí)產(chǎn)權(quán)代理有限公司 代理人 張開
地址 215000江蘇省蘇州市高新區(qū)馬澗路2000號(hào)1幢11層1113-2室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種針對人工智能自然語言處理的BERT算法模型，包括：用于加速Bert訓(xùn)練和推理效率的BERT預(yù)處理數(shù)據(jù)的組合方式；用于存儲(chǔ)Bert模型參數(shù)以及訓(xùn)練推理數(shù)據(jù)的不同級別的存儲(chǔ)單元；用于存儲(chǔ)計(jì)算所需的臨時(shí)數(shù)據(jù)，加快算法的運(yùn)算效率的提供高速訪問的寄存器單元；用于對Bert算法的訓(xùn)練與推理進(jìn)行批量化處理的，矢量與矩陣等運(yùn)算單元并行運(yùn)算方式，本發(fā)明針對BERT算法的特質(zhì)與目標(biāo)芯片的存儲(chǔ)與計(jì)算單元，智能的選擇最優(yōu)編譯方式，并自動(dòng)平衡最小功耗與最大執(zhí)行速度，從而高效的使用BERT對自然語言進(jìn)行處理。通過本發(fā)明，相對于普通CPU與GPU編譯方式，BERT算法可以提升約10倍的效率并節(jié)省至多30％的能耗。