一種提高Spark on yarn實時任務(wù)可靠性的方法

基本信息

申請?zhí)?/td> CN201811393037.X 申請日 -
公開（公告）號 CN109491841A 公開（公告）日 2019-03-19
申請公布號 CN109491841A 申請公布日 2019-03-19
分類號 G06F11/14（2006.01）I; G06F11/30（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 馬偉定 申請（專利權(quán)）人 南京安訊科技有限責(zé)任公司
代理機構(gòu) 大連至誠專利代理事務(wù)所（特殊普通合伙） 代理人 南京安訊科技有限責(zé)任公司
地址 210012 江蘇省南京市雨花臺區(qū)軟件大道119號5幢201-206室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種提高Spark on yarn實時任務(wù)可靠性的方法，該方法主要是通過定時輪訓(xùn)Hadoop Yarn任務(wù)池的任務(wù)，再通過設(shè)定的模板解析目標(biāo)任務(wù)的狀態(tài)，然后根據(jù)解析得到的狀態(tài)判斷是否需要重啟，如果需要重啟則根據(jù)預(yù)置的啟動命令模板拉起任務(wù)，必要時進(jìn)行系統(tǒng)日志的記錄和短信等渠道通知。這樣可以有效提高實時任務(wù)的高可用性和系統(tǒng)的健壯性以及任務(wù)相關(guān)的可維護性，提高大數(shù)據(jù)處于過程的健壯性，最終避免任務(wù)因為失敗而等待或者重復(fù)提交，提高大數(shù)據(jù)系統(tǒng)資源(時間和空間)的利用率。該方法可以用于任何基于Hadoop Yarn計算引擎的大數(shù)據(jù)處理應(yīng)用或系統(tǒng)中。