基于多GPU的任務(wù)調(diào)度方法、裝置

基本信息

申請?zhí)?/td> CN202110709270.X 申請日 -
公開（公告）號(hào) CN113391905A 公開（公告）日 2021-09-14
申請公布號(hào) CN113391905A 申請公布日 2021-09-14
分類號(hào) G06F9/48（2006.01）I;G06F9/50（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 龍利民;李強(qiáng);胡勇超;闞德軍;徐克 申請（專利權(quán)）人 圖靈人工智能研究院（南京）有限公司
代理機(jī)構(gòu) 南京蘇高專利商標(biāo)事務(wù)所（普通合伙） 代理人 柏尚春
地址 210046江蘇省南京市棲霞區(qū)紫東路2號(hào)紫東國際創(chuàng)意園東區(qū)C21棟
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于多GPU的任務(wù)調(diào)度方法、裝置，所述方法包括：為不同任務(wù)類型分別分配最小GPU占用數(shù)量和最大GPU占用數(shù)量；數(shù)據(jù)庫中任務(wù)加載至任務(wù)隊(duì)列，按照任務(wù)類型的優(yōu)先級(jí)順序，將可用資源中的GPU依序進(jìn)行分配；若運(yùn)行任務(wù)中的GPU數(shù)量已經(jīng)達(dá)到各任務(wù)類型的最小GPU占用數(shù)量，或者滿足了任務(wù)類型的所有任務(wù)，可用資源按照任務(wù)隊(duì)列中任務(wù)類型的優(yōu)先級(jí)順序重新進(jìn)行GPU分配；每個(gè)任務(wù)類型所分配的GPU數(shù)量不超過對應(yīng)的最大GPU占用數(shù)量。采用上述技術(shù)方案，不進(jìn)行模型和GPU資源的綁定，滿足各種模型數(shù)量的需求；設(shè)定最小和最大資源分配數(shù)量，可以在各類型模型請求數(shù)量不確定時(shí)，降低因任務(wù)過多而導(dǎo)致的堵塞風(fēng)險(xiǎn)，并且充分利用資源，提升運(yùn)行效率。