在限定硬件資源條件下的深度學習模型調(diào)度部署方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202011584721.3 申請日 -
公開（公告）號 CN112540854A 公開（公告）日 2021-03-23
申請公布號 CN112540854A 申請公布日 2021-03-23
分類號 G06F9/50(2006.01)I;G06F9/54(2006.01)I;G06N5/04(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 陳偉睿;黨康;王子龍 申請（專利權(quán)）人 上海體素信息科技有限公司
代理機構(gòu) 上海段和段律師事務(wù)所 代理人 李佳俊;郭國中
地址 201100上海市閔行區(qū)陳行公路2388號2幢B301室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種在限定硬件資源條件下的深度學習模型調(diào)度部署方法及系統(tǒng)，包括：步驟M1：獲取深度學習推理任務(wù)中多個有依賴關(guān)系的階段任務(wù)；步驟M2：對多個階段任務(wù)資源消耗分別進行評估；步驟M3：對當前可用部署硬件資源進行評估；步驟M4：從多個有依賴關(guān)系的階段任務(wù)中選取當前可運行的階段任務(wù)；根據(jù)當前可用部署硬件資源調(diào)度當前可運行的階段任務(wù)并更新可用部署硬件資源評估，重復(fù)執(zhí)行步驟M4，直至深度學習推理任務(wù)中所有的階段任務(wù)均完成。本發(fā)明實現(xiàn)不同部署環(huán)境計算資源的高效適配，后續(xù)推理模型變更的靈活適配。??