用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)反向訓(xùn)練的裝置和方法

基本信息

申請(qǐng)?zhí)?/td> CN201610039032.1 申請(qǐng)日 -
公開（公告）號(hào) CN106991478B 公開（公告）日 2020-05-08
申請(qǐng)公布號(hào) CN106991478B 申請(qǐng)公布日 2020-05-08
分類號(hào) G06N3/08;G06N3/04;G06N3/063 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉少禮;郭崎;陳云霽;陳天石 申請(qǐng)（專利權(quán)）人 南京艾溪信息科技有限公司
代理機(jī)構(gòu) 中科專利商標(biāo)代理有限責(zé)任公司 代理人 中科寒武紀(jì)科技股份有限公司;南京艾溪信息科技有限公司
地址 100190 北京市海淀區(qū)科學(xué)院南路6號(hào)科研綜合樓644室
法律狀態(tài) -

摘要

摘要 本披露提供了一種用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)反向訓(xùn)練的裝置，包括指令緩存單元、控制器單元、直接內(nèi)存訪問單元、H樹模塊、主運(yùn)算模塊、以及多個(gè)從運(yùn)算模塊。使用該裝置可以實(shí)現(xiàn)多層人工神經(jīng)網(wǎng)絡(luò)的反向訓(xùn)練。對(duì)于每一層來說，首先對(duì)輸入梯度向量進(jìn)行加權(quán)求和計(jì)算出本層的輸出梯度向量。該輸出梯度向量乘以下一層在正向運(yùn)算時(shí)的激活函數(shù)的導(dǎo)數(shù)值可以得到下一層的輸入梯度向量。將輸入梯度向量與正向運(yùn)算時(shí)的輸入神經(jīng)元對(duì)位相乘得到本層權(quán)值的梯度，然后可以根據(jù)所得到的本層權(quán)值的梯度來更新本層的權(quán)值。