基于確定性算子共存的服務調(diào)度方法及其應用的GPU

基本信息

申請?zhí)?/td> CN202111199598.8 申請日 -
公開（公告）號 CN114691314A 公開（公告）日 2022-07-01
申請公布號 CN114691314A 申請公布日 2022-07-01
分類號 G06F9/48（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 陳全;過敏意;崔煒皞;趙涵 申請（專利權）人 上海交通大學
代理機構(gòu) 上海光華專利事務所（普通合伙） 代理人 -
地址 200240上海市閔行區(qū)東川路800號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于確定性算子共存的服務調(diào)度方法及其應用的GPU，所述基于確定性算子共存的服務調(diào)度方法包括：包括：利用一共存感知的延遲預測器預測每一個算子調(diào)度組的處理時間；利用一基于余量的請求控制器以輪循的方式調(diào)度多個深度學習服務的請求，在每一個輪次中，確定接收到的所有請求的處理順序，并基于預測的所述每一個算子調(diào)度組的處理時間確定最佳的算子調(diào)度組；利用一分段模型執(zhí)行引擎處理接收到的所述算子調(diào)度組中各請求的相應算子的計算。本發(fā)明保證了多個深度學習服務混合運行的服務質(zhì)量保證，同時還提高了吞吐，提升了GPU利用率。