一種優(yōu)化低比特模型訓(xùn)練的方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011617715.3 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN114692815A | 公開(kāi)（公告）日 | 2022-07-01 |
| 申請(qǐng)公布號(hào) | CN114692815A | 申請(qǐng)公布日 | 2022-07-01 |
| 分類(lèi)號(hào) | G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 張東 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 合肥君正科技有限公司 |
| 代理機(jī)構(gòu) | 北京嘉東律師事務(wù)所 | 代理人 | - |
| 地址 | 230088安徽省合肥市高新區(qū)望江西路800號(hào)合肥高新股份有限公司C-3研發(fā)樓9層 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提出一種優(yōu)化低比特模型訓(xùn)練的方法，旨在克服上述現(xiàn)有技術(shù)中存在的缺陷，解決現(xiàn)有2bit模型在訓(xùn)練過(guò)程中精度損失嚴(yán)重和難以收斂的問(wèn)題。所述方法包括以下步驟：S1，全精度模型訓(xùn)練：基于數(shù)據(jù)集訓(xùn)練一個(gè)全精度模型；S2，低比特模型訓(xùn)練：然后再依次訓(xùn)練4bit模型、2bit模型，并且在不同的位寬下采用不同的權(quán)重衰減系數(shù)和優(yōu)化器。 |
