一種量化推理超參數(shù)大于1時(shí)確保推理精度的方法

基本信息

申請(qǐng)?zhí)?/td> CN202011622526.5 申請(qǐng)日 -
公開（公告）號(hào) CN114692877A 公開（公告）日 2022-07-01
申請(qǐng)公布號(hào) CN114692877A 申請(qǐng)公布日 2022-07-01
分類號(hào) G06N5/04（2006.01）I;G06N3/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 周飛飛 申請(qǐng)（專利權(quán)）人 合肥君正科技有限公司
代理機(jī)構(gòu) 北京嘉東律師事務(wù)所 代理人 -
地址 230088安徽省合肥市高新區(qū)望江西路800號(hào)合肥高新股份有限公司C-3研發(fā)樓9層
法律狀態(tài) -

摘要

摘要 本發(fā)明一種量化推理超參數(shù)大于1時(shí)確保推理精度的方法，包括：假設(shè)第i層的量化計(jì)算如下所示：Xq＝scale（Qf*Qw+bias）然后把scale進(jìn)行31位定點(diǎn)化運(yùn)算：其中，增加scale大于1.0的定點(diǎn)化過(guò)程，即增加left_shift參數(shù)，增加left_shift右移操作值，在對(duì)模型超參數(shù)量化移位過(guò)程中減去left_shift參數(shù)，確保網(wǎng)絡(luò)在scale推理參數(shù)能夠滿足模型的定點(diǎn)化通用性。所述方法旨在修改模型的定點(diǎn)化過(guò)程，使得模型能夠同時(shí)滿足scale大于或者小于1的情況。