GPU虛擬化算力的彈性調(diào)度方法、系統(tǒng)、設(shè)備和存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202011566583.6 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN112286644A 公開(kāi)（公告）日 2021-01-29
申請(qǐng)公布號(hào) CN112286644A 申請(qǐng)公布日 2021-01-29
分類號(hào) G06F9/455;G06F9/445;G06F9/50;G06N5/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 謝建超 申請(qǐng)（專利權(quán)）人 杭州博盾習(xí)言科技有限公司
代理機(jī)構(gòu) 杭州創(chuàng)智卓英知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 張超
地址 311121 浙江省杭州市余杭區(qū)五常街道文一西路998號(hào)18幢210室
法律狀態(tài) -

摘要

摘要 本申請(qǐng)涉及GPU虛擬化算力的彈性調(diào)度方法、系統(tǒng)、設(shè)備和存儲(chǔ)介質(zhì)，屬于GPU虛擬化技術(shù)領(lǐng)域，該方法包括：對(duì)AI推理容器進(jìn)行自動(dòng)壓測(cè)，得到歷史最大運(yùn)行指標(biāo)；根據(jù)歷史最大運(yùn)行指標(biāo)，自動(dòng)確定容器的算力配額；檢測(cè)容器在業(yè)務(wù)場(chǎng)景下的實(shí)時(shí)運(yùn)行指標(biāo)；根據(jù)實(shí)時(shí)運(yùn)行指標(biāo)和預(yù)設(shè)的算力彈性調(diào)度條件，自動(dòng)調(diào)整容器實(shí)例數(shù)。實(shí)現(xiàn)了自動(dòng)化確定AI推理容器所分配的算力配額，提高了AI推理容器的部署效率，而且極大的提高了GPU算力的利用率。