通信避免方法、裝置、電子設(shè)備和存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110782183.7 申請日 -
公開（公告）號 CN113377546A 公開（公告）日 2021-09-10
申請公布號 CN113377546A 申請公布日 2021-09-10
分類號 G06F9/50（2006.01）I;G06F16/901（2019.01）I;G06F17/16（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 肖俊敏;曹連雨 申請（專利權(quán)）人 中科弘云科技（北京）有限公司
代理機(jī)構(gòu) 北京維正專利代理有限公司 代理人 張鴻基;馬希超
地址 100089北京市海淀區(qū)上地信息產(chǎn)業(yè)基地開拓路7號1幢二層2209室
法律狀態(tài) -

摘要

摘要 本申請的實施例提供了一種通信避免方法、裝置、電子設(shè)備和存儲介質(zhì)，該方法包括：確定訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型每層的計算過程的統(tǒng)一表達(dá)形式；基于涉及訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的計算過程的所有進(jìn)程數(shù)量，將變量矩陣重復(fù)Pr次且使每個進(jìn)程持有變量矩陣的1/Pc塊、參數(shù)矩陣重復(fù)Pc次且使每個進(jìn)程持有參數(shù)矩陣的1/Pr塊；基于統(tǒng)一表達(dá)形式、變量矩陣的劃分結(jié)果以及參數(shù)矩陣的劃分結(jié)果確定訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時的通信復(fù)雜度，并調(diào)整Pc和Pr使得通信復(fù)雜度最優(yōu)，以通信復(fù)雜度最優(yōu)的方式來進(jìn)行通信。本申請能夠有效減少處理器間通信量。