一種基于作業(yè)特征指紋的分布式作業(yè)加速運(yùn)行方法與系統(tǒng)

基本信息

申請?zhí)?/td> CN201510844049.X 申請日 -
公開（公告）號 CN105320562B 公開（公告）日 2018-11-16
申請公布號 CN105320562B 申請公布日 2018-11-16
分類號 G06F9/48 分類 計算；推算；計數(shù);
發(fā)明人 王海洋 申請（專利權(quán)）人 北京聚道科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100084 北京市海淀區(qū)花園東路11號泰興大廈五層501室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了基于作業(yè)特征指紋的分布式作業(yè)加速運(yùn)行方法與系統(tǒng)，方法步驟包括：1)計算作業(yè)的特征指紋；2)將所述作業(yè)的特征指紋寫入歷史日志；3)根據(jù)所述作業(yè)的特征指紋，在所述歷史日志里搜索具有相同特征指紋的歷史作業(yè)；4)若沒有，則繼續(xù)完成作業(yè)；5)若存在相同特指紋的歷史作業(yè)，則將歷史作業(yè)輸出賦予新提交的作業(yè)。本發(fā)明首次提出了作業(yè)特征指紋的概念，通過獲取所述作業(yè)的依賴程序，獲取所述作業(yè)運(yùn)行程序參數(shù)，并將所述獲取的作業(yè)依賴程序和作業(yè)運(yùn)行程序參數(shù)，按預(yù)設(shè)進(jìn)行合并，得到作業(yè)特征指紋。本發(fā)明還提供了的分布式作業(yè)加速運(yùn)系統(tǒng)通過將所述作業(yè)特征指紋應(yīng)用于分布式任務(wù)運(yùn)行，并簡化分布式任務(wù)的調(diào)度及提高分布式任務(wù)運(yùn)行效率。