一種高效調(diào)度GPU能力的負(fù)載均衡方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202110116747.3 申請(qǐng)日 -
公開(公告)號(hào) CN112463349A 公開(公告)日 2021-03-09
申請(qǐng)公布號(hào) CN112463349A 申請(qǐng)公布日 2021-03-09
分類號(hào) G06F9/48(2006.01)I;G06F9/50(2006.01)I 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 趙洲洋;靳雯 申請(qǐng)(專利權(quán))人 日照睿安信息科技有限公司
代理機(jī)構(gòu) 北京紐樂康知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 黃凡凡
地址 100013北京市東城區(qū)和平路北街6號(hào)6號(hào)樓一層101室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種高效調(diào)度GPU能力的負(fù)載均衡方法及系統(tǒng),方法包括以下步驟:查詢所有GPU卡的數(shù)量以及每張所述GPU卡的顯存;根據(jù)目標(biāo)進(jìn)程組申請(qǐng)的顯存大小進(jìn)行初步篩選,篩選出可用顯存資源滿足該目標(biāo)進(jìn)程組申請(qǐng)的節(jié)點(diǎn);進(jìn)行二次篩選,從所述節(jié)點(diǎn)中篩選出可用顯存資源滿足該目標(biāo)進(jìn)程組申請(qǐng)的GPU卡;進(jìn)行三次篩選,從所述GPU卡中篩選出可用顯存資源最少的GPU卡,并將所述GPU卡所在的節(jié)點(diǎn)與所述目標(biāo)進(jìn)程組進(jìn)行綁定;在與所述目標(biāo)進(jìn)程組綁定的所述節(jié)點(diǎn)上創(chuàng)建所述目標(biāo)進(jìn)程組。本發(fā)明的有益效果:可讓使用者通過API描述來(lái)實(shí)現(xiàn)對(duì)一個(gè)可共享資源的申請(qǐng),并能實(shí)現(xiàn)該種資源的調(diào)度,從而可使任務(wù)調(diào)度更加合理高效,提高了GPU的利用率。??