一種基于統(tǒng)計(jì)分析的Spark拖延任務(wù)診斷方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201811113777.3 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN109240890A | 公開（公告）日 | 2019-01-18 |
| 申請(qǐng)公布號(hào) | CN109240890A | 申請(qǐng)公布日 | 2019-01-18 |
| 分類號(hào) | G06F11/30;G06F11/34 | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 劉延新;李亞瓊;吳昊;李守超 | 申請(qǐng)（專利權(quán)）人 | 江蘇潤(rùn)和軟件股份有限公司 |
| 代理機(jī)構(gòu) | - | 代理人 | - |
| 地址 | 210041 江蘇省南京市雨花臺(tái)區(qū)鐵心橋工業(yè)園 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 發(fā)明涉及一種基于統(tǒng)計(jì)分析的Spark拖延任務(wù)診斷方法，監(jiān)測(cè)數(shù)據(jù)中心并行執(zhí)行任務(wù)，從監(jiān)測(cè)數(shù)據(jù)中推斷出任務(wù)執(zhí)行拖延的原因。在相同階段，監(jiān)測(cè)相同任務(wù)在不同節(jié)點(diǎn)的執(zhí)行情況，搜集物理服務(wù)器的監(jiān)測(cè)數(shù)據(jù)，分析Spark日志文件得到任務(wù)執(zhí)行的監(jiān)測(cè)數(shù)據(jù)。比較任務(wù)執(zhí)行時(shí)間以檢測(cè)拖延任務(wù)，分析拖延任務(wù)與正常執(zhí)行任務(wù)的特征值的偏離程度以定位異常特征，從而診斷任務(wù)拖延的原因。 |
