預(yù)訓(xùn)練模型推理處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202210234098.1 申請(qǐng)日 -
公開（公告）號(hào) CN114676760A 公開（公告）日 2022-06-28
申請(qǐng)公布號(hào) CN114676760A 申請(qǐng)公布日 2022-06-28
分類號(hào) G06K9/62（2022.01）I;G06N5/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 賈超;鄭直 申請(qǐng)（專利權(quán)）人 北京智源人工智能研究院
代理機(jī)構(gòu) 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 代理人 -
地址 100080北京市海淀區(qū)中關(guān)村東路1號(hào)院8號(hào)樓三層B201D-1
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種預(yù)訓(xùn)練模型推理處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，所述方法應(yīng)用于對(duì)待處理模型進(jìn)行推理處理的服務(wù)器，所述方法包括：確定所述待處理模型，其中，所述待處理模型采用高比特浮點(diǎn)數(shù)進(jìn)行表示且通過預(yù)訓(xùn)練得到，所述高比特浮點(diǎn)數(shù)的位數(shù)大于或等于第一位數(shù)閾值；基于模型量化技術(shù)，將所述待處理模型的模型參數(shù)由采用所述高比特浮點(diǎn)數(shù)表示轉(zhuǎn)化為采用低比特定點(diǎn)數(shù)表示，用以實(shí)現(xiàn)對(duì)所述待處理模型進(jìn)行加速推理處理，其中，所述低比特定點(diǎn)數(shù)的位數(shù)小于或等于第二位數(shù)閾值。通過本發(fā)明的預(yù)訓(xùn)練模型推理處理方法，實(shí)現(xiàn)了大規(guī)模待處理模型在推理過程中的低成本性和高處理速度性。