一種基于TVM的NPU神經(jīng)網(wǎng)絡模型部署方法及裝置

基本信息

申請?zhí)?/td> CN202210482702.2 申請日 -
公開（公告）號 CN114721670A 公開（公告）日 2022-07-08
申請公布號 CN114721670A 申請公布日 2022-07-08
分類號 G06F8/60（2018.01）I;G06F8/41（2018.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06N3/063（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 賈豐榮;蔡萬偉;陳寧 申請（專利權）人 深圳云天勵飛技術股份有限公司
代理機構 北京三聚陽光知識產(chǎn)權代理有限公司 代理人 -
地址 518000廣東省深圳市龍崗區(qū)園山街道龍崗大道8288號深圳大運軟件小鎮(zhèn)17棟1樓
法律狀態(tài) -

摘要

摘要 本申請?zhí)峁┮环N基于TVM的NPU神經(jīng)網(wǎng)絡模型部署方法及裝置，包括：獲取待部署的神經(jīng)網(wǎng)絡模型和當前NPU的硬件屬性信息；根據(jù)神經(jīng)網(wǎng)絡模型的計算邏輯，確定待部署到當前NPU的卷積算子；根據(jù)當前NPU的硬件屬性信息和各卷積算子的參數(shù)信息，確定各卷積算子在當前NPU中的最優(yōu)參數(shù)配置；根據(jù)最優(yōu)參數(shù)配置和當前NPU的硬件屬性信息，調(diào)整tir層的數(shù)據(jù)布局和卷積權重，對relay層的參數(shù)進行修改，得到適配當前NPU的目標TVM；基于目標TVM，生成神經(jīng)網(wǎng)絡模型適用于當前NPU的部署文件。通過對TVM的tir層和relay層進行相應的參數(shù)調(diào)整，以使得到的目標TVM能夠適配該NPU。