用于輕量化神經(jīng)網(wǎng)絡的結構化剪枝方法、裝置、介質及設備

基本信息

申請?zhí)?/td> CN202011107507.9 申請日 -
公開（公告）號 CN112241789A 公開（公告）日 2021-01-19
申請公布號 CN112241789A 申請公布日 2021-01-19
分類號 G06N3/08;G06K9/62 分類 計算；推算；計數(shù);
發(fā)明人 姚志強;周曦;李連強;梁俊文 申請（專利權）人 廣州云從凱風科技有限公司
代理機構 上海光華專利事務所（普通合伙） 代理人 代玲
地址 511458 廣東省廣州市南沙區(qū)金隆路26號1009房（僅限辦公用途）
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種用于輕量化神經(jīng)網(wǎng)絡的結構化剪枝方法,包括：根據(jù)神經(jīng)網(wǎng)絡中待剪枝的目標層中的三維張量Filter構建相似度矩陣；基于譜聚類對所述相似度矩陣對應的三維張量Filter進行聚類，得到多個聚類簇；確定每個聚類簇的質心以及同一聚類簇中每個三維張量Filer與所述質心的距離；刪除與質心距離超過設定閾值對應的三維張量Filter，得到目標神經(jīng)網(wǎng)絡模型。本發(fā)明作為結構化剪枝方法，經(jīng)過結構化剪枝后的神經(jīng)網(wǎng)絡的權值矩陣之間不存在非結構化稀疏現(xiàn)象，可以直接利用現(xiàn)有的軟硬件進行加速，且可以很自然的與其它輕量化神經(jīng)網(wǎng)絡技術，如知識蒸餾、權值量化等聯(lián)合使用以進一步減少網(wǎng)絡冗余。