神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010557121.1 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN111915004A | 公開（公告）日 | 2020-11-10 |
| 申請(qǐng)公布號(hào) | CN111915004A | 申請(qǐng)公布日 | 2020-11-10 |
| 分類號(hào) | G06N3/08(2006.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 肖少然 | 申請(qǐng)（專利權(quán)）人 | 內(nèi)蒙古曠視金智科技有限公司 |
| 代理機(jī)構(gòu) | 北京超凡宏宇專利代理事務(wù)所（特殊普通合伙） | 代理人 | 北京邁格威科技有限公司;內(nèi)蒙古曠視金智科技有限公司 |
| 地址 | 100000北京市海淀區(qū)科學(xué)院南路2號(hào)融科資訊中心A座316-318 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。其中，訓(xùn)練方法包括：利用待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)當(dāng)前批次的訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，獲得當(dāng)前批次的訓(xùn)練數(shù)據(jù)的特征；基于當(dāng)前批次的訓(xùn)練數(shù)據(jù)的特征計(jì)算當(dāng)前損失；獲取在之前的訓(xùn)練過程中緩存的歷史批次的訓(xùn)練數(shù)據(jù)的特征；基于當(dāng)前批次的訓(xùn)練數(shù)據(jù)的特征以及歷史批次的訓(xùn)練數(shù)據(jù)的特征計(jì)算歷史損失；基于當(dāng)前損失以及歷史損失計(jì)算總損失，并基于總損失利用反向傳播算法更新神經(jīng)網(wǎng)絡(luò)的參數(shù)。該方法變相增加了當(dāng)前批次的訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量，有利于改善訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)的性能，并且不會(huì)導(dǎo)致訓(xùn)練過程所需的計(jì)算資源顯著增加。?? |
