基于多粒度的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化稀疏系統(tǒng)和方法

基本信息

申請(qǐng)?zhí)?/td> CN201910556539.8 申請(qǐng)日 -
公開（公告）號(hào) CN110276450B 公開（公告）日 2021-07-06
申請(qǐng)公布號(hào) CN110276450B 申請(qǐng)公布日 2021-07-06
分類號(hào) G06N3/08;G06N3/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 譚展宏 申請(qǐng)（專利權(quán)）人 交叉信息核心技術(shù)研究院（西安）有限公司
代理機(jī)構(gòu) 西安通大專利代理有限責(zé)任公司 代理人 李紅霖
地址 710077 陜西省西安市雁塔區(qū)天谷八路軟件新城二期B3五層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供基于多粒度的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化稀疏系統(tǒng)和方法，將三個(gè)粒度層次的權(quán)重剪枝以及激活輸入的稀疏結(jié)合起來進(jìn)行算法優(yōu)化和系統(tǒng)架構(gòu)，能夠高效地將深度神經(jīng)網(wǎng)絡(luò)部署到邊緣設(shè)備，在低能耗約束條件下取得可觀的性能。通過結(jié)合通道層次、濾波器層次和濾波器內(nèi)剪枝三個(gè)層次，同時(shí)考慮硬件并行計(jì)算的約束，使得通道剪枝和濾波器剪枝的結(jié)果，其數(shù)目為16的倍數(shù)；對(duì)于濾波器內(nèi)的剪枝，通過算法優(yōu)化使得其形狀滿足特定要求，從而能夠?qū)崿F(xiàn)在硬件約束下的多粒度剪枝；通過三值網(wǎng)絡(luò)進(jìn)行低比特量化，并且與后續(xù)的剪枝相結(jié)合，不僅保證有可觀的準(zhǔn)確性和穩(wěn)定性，還可以很好地實(shí)現(xiàn)無乘法器的設(shè)計(jì)，從而實(shí)現(xiàn)低功耗的目的。