一種自適應調(diào)整激活量化位寬的方法

基本信息

申請?zhí)?/td> CN202011622451.0 申請日 -
公開（公告）號 CN114692862A 公開（公告）日 2022-07-01
申請公布號 CN114692862A 申請公布日 2022-07-01
分類號 G06N3/08（2006.01）I;G06N3/04（2006.01）I;G06F9/38（2006.01）I;G06F9/28（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 張東 申請（專利權(quán)）人 合肥君正科技有限公司
代理機構(gòu) 北京嘉東律師事務所 代理人 -
地址 230088安徽省合肥市高新區(qū)望江西路800號合肥高新股份有限公司C-3研發(fā)樓9層
法律狀態(tài) -

摘要

摘要 本發(fā)明提出了一種自適應調(diào)整激活量化位寬的方法，旨在克服現(xiàn)有技術(shù)中存在的缺陷，解決量化后模型無法達到最佳加速比和精度的問題。所述方法包括：S1，數(shù)據(jù)量化：對于待量化的數(shù)據(jù)進行量化，得到低比特的數(shù)據(jù)；S2，在訓練低比特模型時傳給下一層的數(shù)據(jù)，對于激活采用模型，量化后卷積，其結(jié)果為：S3，在推理的時候，在不改變權(quán)重通道的情況下，減小激活的位寬能夠減小卷積累加結(jié)果超過16bit的情況，如果conv（Wsqf,Fuqf）>1.0就減少激活的量化位寬直至滿足conv（Wsqf,Fuqf）≤1.0；并且對該層的每一個輸出通道做相同的操作，從而達到根據(jù)每個通道的分布情況來決定其相應的位寬。