基于漸進式量化和Hessian信息的神經(jīng)網(wǎng)絡(luò)混合量化方法

基本信息

申請?zhí)?/td> CN202010915248.6 申請日 -
公開（公告）號 CN112183742A 公開（公告）日 2021-01-05
申請公布號 CN112183742A 申請公布日 2021-01-05
分類號 G06N3/08;G06N3/02 分類 計算；推算；計數(shù);
發(fā)明人 王振寧;許金泉;王溢;蔡碧穎 申請（專利權(quán)）人 南強智視（廈門）科技有限公司
代理機構(gòu) 泉州市潭思專利代理事務(wù)所（普通合伙） 代理人 廖仲禧;麻艷
地址 361000 福建省廈門市湖里區(qū)火炬高新區(qū)軟件園創(chuàng)新大廈A區(qū)402
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于漸進式量化和Hessian信息的神經(jīng)網(wǎng)絡(luò)混合量化方法，步驟是：給定圖像?標(biāo)簽對集合，劃分樣本集和校準(zhǔn)集；定義神經(jīng)網(wǎng)絡(luò)每層可選的量化精度范圍；隨機選擇量化層做降bit量化，重復(fù)采樣n次，得到n個基礎(chǔ)的混合精度模型；以校準(zhǔn)集中的圖像?標(biāo)簽對作為輸入，對所有候選的混合精度神經(jīng)網(wǎng)絡(luò)模型進行一次前向過程；利用Adam二階Momentum信息計算Hessian近似值；再計算性能評價指標(biāo)，將n個指標(biāo)排序，選擇最小值對應(yīng)混合精度策略作為當(dāng)前步次下性能最好的混合精度超參組合，計算模型的計算成本，再對當(dāng)前的混合精度網(wǎng)絡(luò)模型做訓(xùn)練；迭代至滿足結(jié)束條件。此方法能夠極大地減少每一步次中的可優(yōu)化的混合精度搜索空間，同時提高量化模型的性能評估效率。