一種基于邊緣設(shè)備的分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202110544084.5 申請(qǐng)日 -
公開（公告）號(hào) CN113282411B 公開（公告）日 2022-03-22
申請(qǐng)公布號(hào) CN113282411B 申請(qǐng)公布日 2022-03-22
分類號(hào) G06F9/50（2006.01）I;G06N3/063（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 黃鑌;蔡嘉偉;金怡;鄭立榮;鄒卓;環(huán)宇翔;梁龍飛 申請(qǐng)（專利權(quán)）人 上海新氦類腦智能科技有限公司
代理機(jī)構(gòu) 無(wú)錫經(jīng)誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 丁雨燕
地址 200000上海市楊浦區(qū)邯鄲路220號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體是一種基于邊緣設(shè)備的分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，通過(guò)IoT邊緣設(shè)備進(jìn)行分布式聯(lián)合訓(xùn)練的方式，以實(shí)現(xiàn)對(duì)邊緣端產(chǎn)生的海量數(shù)據(jù)進(jìn)行有效利用的功能；通過(guò)對(duì)Parameter Server分布式架構(gòu)下機(jī)器學(xué)習(xí)分布式訓(xùn)練的設(shè)備優(yōu)化組網(wǎng)配置進(jìn)行以各設(shè)備間性能、帶寬進(jìn)行綜合配比實(shí)現(xiàn)最優(yōu)配置；通過(guò)對(duì)訓(xùn)練任務(wù)的模型大小、各設(shè)備性能和帶寬之間進(jìn)行優(yōu)化分配，確定目前能最大發(fā)揮設(shè)備群性能的配置。本發(fā)明提供的方法不僅實(shí)現(xiàn)了將神經(jīng)網(wǎng)絡(luò)訓(xùn)練部署至IoT領(lǐng)域，同時(shí)對(duì)分布式組網(wǎng)任務(wù)配置方面進(jìn)行了優(yōu)化，有效地避免了集群間不必要的性能損耗，提高了分布式訓(xùn)練系統(tǒng)的計(jì)算性能。