一種動態(tài)調(diào)整量化featureclip值的方法

基本信息

申請?zhí)?/td> CN202011622493.4 申請日 -
公開（公告）號 CN114692817A 公開（公告）日 2022-07-01
申請公布號 CN114692817A 申請公布日 2022-07-01
分類號 G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 周飛飛 申請（專利權(quán)）人 合肥君正科技有限公司
代理機(jī)構(gòu) 北京嘉東律師事務(wù)所 代理人 -
地址 230088安徽省合肥市高新區(qū)望江西路800號合肥高新股份有限公司C-3研發(fā)樓9層
法律狀態(tài) -

摘要

摘要 本發(fā)明相對于傳統(tǒng)的relu6能夠更加符合模型的層次分布，從而能夠充分利用量化位寬。提供一種動態(tài)調(diào)整量化feature clip值的方法，所述方法是在每一層添加clip_value,動態(tài)調(diào)整量化的clip值：假設(shè)第i層的量化計算如下所示：梯度反傳值如下：通過調(diào)整的大小，同時訓(xùn)練時對的變量添加l2的正則化，確保值訓(xùn)練時不至于過大，使得模型更易于收斂。