基于資源調(diào)整的深度學(xué)習(xí)模型動(dòng)態(tài)批處理調(diào)度方法和系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202111543693.5 申請(qǐng)日 -
公開（公告）號(hào) CN114217966A 公開（公告）日 2022-03-22
申請(qǐng)公布號(hào) CN114217966A 申請(qǐng)公布日 2022-03-22
分類號(hào) G06F9/50（2006.01）I;G06F9/48（2006.01）I;G06F9/54（2006.01）I;G06N3/08（2006.01）I;G06N5/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳偉睿;蔣昌龍;馮奕樂;王子龍;張政;丁曉偉 申請(qǐng)（專利權(quán)）人 上海體素信息科技有限公司
代理機(jī)構(gòu) 上海段和段律師事務(wù)所 代理人 李源
地址 201100上海市閔行區(qū)陳行公路2388號(hào)2幢B301室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于資源調(diào)整的深度學(xué)習(xí)模型動(dòng)態(tài)批處理調(diào)度方法和系統(tǒng)，包括：步驟1：將深度學(xué)習(xí)推理作業(yè)按運(yùn)行時(shí)消耗評(píng)估資源的種類進(jìn)行任務(wù)拆分；步驟2：根據(jù)深度學(xué)習(xí)推理作業(yè)的資源種類和當(dāng)前部署環(huán)境資源情況進(jìn)行任務(wù)動(dòng)態(tài)批處理，當(dāng)滿足預(yù)設(shè)停止調(diào)度條件時(shí)停止調(diào)度，當(dāng)接收到新推理作業(yè)，或在可用資源發(fā)生變化時(shí)，觸發(fā)新的調(diào)度。本發(fā)明通過不同運(yùn)行時(shí)期運(yùn)行調(diào)度當(dāng)時(shí)的部署資源情況，得出此時(shí)某個(gè)推理任務(wù)的批處理推理批量大小并調(diào)度執(zhí)行，可以有效的根據(jù)實(shí)時(shí)部署資源，動(dòng)態(tài)調(diào)整批處理批量，利用批處理對(duì)運(yùn)行效率的提升并達(dá)到對(duì)部署資源的實(shí)時(shí)充分利用，從而提升資源動(dòng)態(tài)變化場(chǎng)景下的推理作業(yè)處理的吞吐量。