一種GPU算力管理方法、介質(zhì)、設(shè)備及系統(tǒng)

基本信息

申請?zhí)?/td> CN202210572151.9 申請日 -
公開（公告）號 CN114661482A 公開（公告）日 2022-06-24
申請公布號 CN114661482A 申請公布日 2022-06-24
分類號 G06F9/50（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 羅宏智;梅亮;許春香;羅天 申請（專利權(quán)）人 成都索貝數(shù)碼科技股份有限公司
代理機(jī)構(gòu) 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 代理人 -
地址 610041四川省成都市高新區(qū)新園南二路2號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種GPU算力管理方法、介質(zhì)、設(shè)備及系統(tǒng)，屬于容器編排領(lǐng)域，包括流程：測量流程：設(shè)置測量流程用于測量所需GPU、CPU和內(nèi)存資源，并將測量結(jié)果傳遞給Ray框架；資源分配和服務(wù)調(diào)度流程：在巡檢任務(wù)負(fù)載情況和節(jié)點(diǎn)資源使用情況后，按照測量結(jié)果進(jìn)行資源分配和服務(wù)調(diào)度，來滿足任務(wù)執(zhí)行需要。本發(fā)明可以大大提高資源利用率，使得幾十種模型在共存情況下資源可以得到高效使用，以節(jié)省算力資源，并且實(shí)現(xiàn)任務(wù)消費(fèi)吞吐量最大化。本發(fā)明可以提高資源利用率，節(jié)省算力資源，實(shí)現(xiàn)任務(wù)消費(fèi)吞吐量最大化。