基于MPI的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索并行化方法和設(shè)備

基本信息

申請?zhí)?/td> CN202010144350.0 申請日 -
公開（公告）號 CN111324630A 公開（公告）日 2020-06-23
申請公布號 CN111324630A 申請公布日 2020-06-23
分類號 G06F16/245(2019.01)I 分類 -
發(fā)明人 曹連雨 申請（專利權(quán)）人 中科弘云科技（北京）有限公司
代理機構(gòu) 北京八月瓜知識產(chǎn)權(quán)代理有限公司 代理人 中科弘云科技（北京）有限公司
地址 100080北京市海淀區(qū)上地信息產(chǎn)業(yè)基地開拓路7號1幢二層2209室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于MPI的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索并行化方法和設(shè)備。該方法包括：根據(jù)當(dāng)前多機環(huán)境中的GPU數(shù)量啟動MPI進程，并按順序進行編排；啟動后的MPI進程根據(jù)其自己的序號從訓(xùn)練集中指定位置讀取數(shù)據(jù)，并進行梯度計算；每個節(jié)點的GPU根據(jù)分層結(jié)構(gòu)進行梯度規(guī)約計算，將計算的結(jié)果匯總至GPU中的首個GPU中；首個GPU按環(huán)形結(jié)構(gòu)進行梯度全規(guī)約計算；在每個節(jié)點內(nèi)從該首個GPU開始，按分層結(jié)構(gòu)廣播梯度計算結(jié)果；利用該新的梯度值更新神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值。本發(fā)明能夠在保證神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索結(jié)果模型的識別率的基礎(chǔ)上，有效地加速神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索訓(xùn)練效率，大幅度減少訓(xùn)練時間，從而提升自動化深度學(xué)習(xí)過程的效率。??