在限定硬件資源條件下的深度學(xué)習(xí)模型調(diào)度部署方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202011584721.3 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN112540854B 公開(kāi)（公告）日 2021-10-08
申請(qǐng)公布號(hào) CN112540854B 申請(qǐng)公布日 2021-10-08
分類號(hào) G06F9/50;G06F9/54;G06N5/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳偉睿;黨康;王子龍 申請(qǐng)（專利權(quán)）人 上海體素信息科技有限公司
代理機(jī)構(gòu) 上海段和段律師事務(wù)所 代理人 李佳俊;郭國(guó)中
地址 201100 上海市閔行區(qū)陳行公路2388號(hào)2幢B301室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種在限定硬件資源條件下的深度學(xué)習(xí)模型調(diào)度部署方法及系統(tǒng)，包括：步驟M1：獲取深度學(xué)習(xí)推理任務(wù)中多個(gè)有依賴關(guān)系的階段任務(wù)；步驟M2：對(duì)多個(gè)階段任務(wù)資源消耗分別進(jìn)行評(píng)估；步驟M3：對(duì)當(dāng)前可用部署硬件資源進(jìn)行評(píng)估；步驟M4：從多個(gè)有依賴關(guān)系的階段任務(wù)中選取當(dāng)前可運(yùn)行的階段任務(wù)；根據(jù)當(dāng)前可用部署硬件資源調(diào)度當(dāng)前可運(yùn)行的階段任務(wù)并更新可用部署硬件資源評(píng)估，重復(fù)執(zhí)行步驟M4，直至深度學(xué)習(xí)推理任務(wù)中所有的階段任務(wù)均完成。本發(fā)明實(shí)現(xiàn)不同部署環(huán)境計(jì)算資源的高效適配，后續(xù)推理模型變更的靈活適配。