一種針對于ResNet的按通道剪枝算法

基本信息

申請?zhí)?/td> CN201910701289.2 申請日 -
公開（公告）號 CN110414608A 公開（公告）日 2019-11-05
申請公布號 CN110414608A 申請公布日 2019-11-05
分類號 G06K9/62（2006.01）I; G06N3/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉一鋒 申請（專利權(quán)）人 西安第六鏡網(wǎng)絡(luò)科技有限公司
代理機(jī)構(gòu) 北京東方盛凡知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 張雪
地址 710077 陜西省西安市高新區(qū)錦業(yè)路38號粵漢國際1號樓10510室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種針對于ResNet的按通道剪枝算法，包括如下步驟：步驟一，通道評估；步驟二，神經(jīng)元去除；步驟三，剪枝模型訓(xùn)練；步驟四，判斷；步驟五，微調(diào)模型；給模型中所有conv layer重新編號排次序，計(jì)算每個conv layer所有通道rank值，并按通道歸一化，然后統(tǒng)計(jì)模型所有conv layer的通道數(shù)，對所有convlayer通道rank值按從大到小排序；根據(jù)擬剪枝列表，在訓(xùn)練好或加載的模型中去除，當(dāng)所有卷積層剪枝結(jié)束，依據(jù)鄰近上一個卷積層輸出通道數(shù)，通過BatchNorm層繼承方式，修改成同樣的通道數(shù)；全網(wǎng)參數(shù)更新，進(jìn)行剪枝模型訓(xùn)練；判斷剪枝是否結(jié)束，若停止到下一步微調(diào)全網(wǎng)參數(shù)，否則重復(fù)步驟一到步驟三；微調(diào)結(jié)束后保存剪枝模型；本發(fā)明，計(jì)算簡單，識別精度高。