一種神經(jīng)網(wǎng)絡(luò)模型交互訓(xùn)練方法、裝置及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202111545139.0 申請(qǐng)日 -
公開（公告）號(hào) CN114219078A 公開（公告）日 2022-03-22
申請(qǐng)公布號(hào) CN114219078A 申請(qǐng)公布日 2022-03-22
分類號(hào) G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 喬少華 申請(qǐng)（專利權(quán)）人 武漢中海庭數(shù)據(jù)技術(shù)有限公司
代理機(jī)構(gòu) 武漢藍(lán)寶石專利代理事務(wù)所（特殊普通合伙） 代理人 萬暢
地址 430000湖北省武漢市東湖新技術(shù)開發(fā)區(qū)軟件園東路1號(hào)軟件園4.1期B6棟1層、9層、10層01室（自貿(mào)區(qū)武漢片區(qū)）
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種神經(jīng)網(wǎng)絡(luò)模型交互訓(xùn)練方法及裝置，其方法包括：確定參與交互訓(xùn)練的一個(gè)主神經(jīng)網(wǎng)絡(luò)，以及至少一個(gè)次神經(jīng)網(wǎng)絡(luò)；根據(jù)所述主神經(jīng)網(wǎng)絡(luò)和次神經(jīng)網(wǎng)絡(luò)之間的分布差異，確定參與交互訓(xùn)練的目標(biāo)函數(shù)；根據(jù)所述目標(biāo)函數(shù)訓(xùn)練所述主神經(jīng)網(wǎng)絡(luò)和次神經(jīng)網(wǎng)絡(luò)，直至目標(biāo)函數(shù)值達(dá)到閾值且趨于穩(wěn)定，得到訓(xùn)練完成的主神經(jīng)網(wǎng)絡(luò)。本發(fā)明提出一種神經(jīng)網(wǎng)絡(luò)交互訓(xùn)練方法，同時(shí)采用KL散度來度量主網(wǎng)絡(luò)與次網(wǎng)絡(luò)的預(yù)測(cè)概率分布差異，實(shí)現(xiàn)主次網(wǎng)絡(luò)交互學(xué)習(xí)經(jīng)驗(yàn)來引導(dǎo)主網(wǎng)絡(luò)學(xué)習(xí)，從而獲得與次網(wǎng)絡(luò)相近或略高的性能，也緩解了主網(wǎng)絡(luò)單獨(dú)訓(xùn)練時(shí)收斂緩慢，容易陷入局部最優(yōu)，特別在訓(xùn)練樣本量限制條件下，網(wǎng)絡(luò)模型泛化性較弱，檢出率偏低等問題。