深度學(xué)習(xí)模型的定點(diǎn)量化方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110535674.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN113408696A | 公開(kāi)（公告）日 | 2021-09-17 |
| 申請(qǐng)公布號(hào) | CN113408696A | 申請(qǐng)公布日 | 2021-09-17 |
| 分類(lèi)號(hào) | G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06K9/62（2006.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 不公告發(fā)明人 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 珠海億智電子科技有限公司 |
| 代理機(jī)構(gòu) | 廣州嘉權(quán)專(zhuān)利商標(biāo)事務(wù)所有限公司 | 代理人 | 張志輝 |
| 地址 | 519080廣東省珠海市高新區(qū)唐家灣鎮(zhèn)港樂(lè)路8號(hào)大洲科技園B區(qū)廠房803室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了深度學(xué)習(xí)模型的定點(diǎn)量化方法及裝置，該方法包括以下步驟：輸入校準(zhǔn)數(shù)據(jù)至目標(biāo)模型，按順序?qū)⒛繕?biāo)模型的模型參數(shù)和激活值作為量化對(duì)象，執(zhí)行以下步驟：輸入校準(zhǔn)集數(shù)據(jù)，按層提取目標(biāo)模型的量化對(duì)象，獲取量化對(duì)象的分布直方圖，通過(guò)自適應(yīng)KL散度方程對(duì)量化對(duì)象的分布直方圖進(jìn)行縮放，并基于預(yù)設(shè)量化位數(shù)獲取不同的小數(shù)點(diǎn)位置對(duì)應(yīng)的KL散度值，比較得出量化對(duì)象的第一量化結(jié)果。本發(fā)明彌補(bǔ)了KL散度算法僅關(guān)注概率的缺陷，優(yōu)化量化結(jié)果，在保證量化后的模型一定的精度的情況下，能大幅度提升量化的速度，提高了量化的效率，節(jié)省了時(shí)間。 |
