一種量化推理過程低位寬bias越界處理方法

基本信息

申請?zhí)?/td> CN202011617758.1 申請日 -
公開（公告）號 CN114692876A 公開（公告）日 2022-07-01
申請公布號 CN114692876A 申請公布日 2022-07-01
分類號 G06N5/04（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數;
發(fā)明人 周飛飛 申請（專利權）人 合肥君正科技有限公司
代理機構 北京嘉東律師事務所 代理人 -
地址 230088安徽省合肥市高新區(qū)望江西路800號合肥高新股份有限公司C-3研發(fā)樓9層
法律狀態(tài) -

摘要

摘要 本發(fā)明方法旨在剔除模型進行低bit量化過程中合并bias時存在的異常值，確保模型推理精度和訓練網絡框架保持一致性。提供一種量化推理過程低位寬bias越界處理方法，所述方法包括深度學習卷積浮點型float操作，包括步驟：S1，輸入浮點型數據；S2，進行卷積，進行權重合并；S3，進行批量標準化,量化過程中存在對相關參數的合并，會對batchnorm通道gamma值進行單獨處理，具體量化時對batchnorm的推導公式如下：假設第i層的量化計算：實際訓練過程中對gamm限制在0.1及以上，確保bias不越界；S4，輸出浮點型結果。