一種hadoop大數(shù)據(jù)平臺的任務(wù)調(diào)度管理系統(tǒng)及方法

基本信息

申請?zhí)?/td> CN201810856044.2 申請日 -
公開(公告)號 CN110780981A 公開(公告)日 2020-02-11
申請公布號 CN110780981A 申請公布日 2020-02-11
分類號 G06F9/48 分類 計算;推算;計數(shù);
發(fā)明人 于洋;李鵬;高經(jīng)郡;郭振強(qiáng) 申請(專利權(quán))人 北京科杰信息技術(shù)有限公司
代理機(jī)構(gòu) 北京智行陽光知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 黃錦陽
地址 100101 北京市朝陽區(qū)阜通東大街1號院3號樓3層2單元120307
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種hadoop大數(shù)據(jù)平臺的任務(wù)調(diào)度管理系統(tǒng)及方法,系統(tǒng)包括權(quán)限模塊、任務(wù)檢索模塊、任務(wù)依賴模塊、調(diào)度檢索模塊、任務(wù)合規(guī)檢查模塊、調(diào)度模塊、報警模塊和任務(wù)狀態(tài)檢索模塊;本發(fā)明提供一種可視化系統(tǒng),用于可視化的進(jìn)行任務(wù)的調(diào)度依賴管理,以及任務(wù)血緣關(guān)系的查看和管理,便于用戶進(jìn)行問題的追溯以任務(wù)的依賴關(guān)系配置;不再需要用戶進(jìn)行手動配置任務(wù)的運(yùn)行時間,調(diào)度的任務(wù)會根據(jù)前置依賴任務(wù)的運(yùn)行結(jié)束時間自動開始運(yùn)行后置任務(wù);當(dāng)任務(wù)發(fā)生運(yùn)行錯誤時,會根據(jù)用戶配置的重試次數(shù)進(jìn)行任務(wù)的重試運(yùn)行,并提供報警機(jī)制,提醒依賴了當(dāng)前運(yùn)行失敗的用戶;任務(wù)依賴的環(huán)自動檢索功能,有效避免任務(wù)運(yùn)行死循環(huán)的問題。