大規(guī)模集群作業(yè)異常檢測方法

基本信息

申請?zhí)?/td> CN202111410717.X 申請日 -
公開（公告）號 CN114116392A 公開（公告）日 2022-03-01
申請公布號 CN114116392A 申請公布日 2022-03-01
分類號 G06F11/30（2006.01）I;G06K9/62（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 薛巍;楊斌;邵明山;矯志宏 申請（專利權(quán)）人 無錫恒鼎超級計算中心有限公司
代理機構(gòu) 無錫知之火專利代理事務(wù)所（特殊普通合伙） 代理人 朱愛進
地址 214000江蘇省無錫市濱湖區(qū)吟白路1號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供的一種大規(guī)模集群的作業(yè)異常檢測方法，涉及異常檢測方法，包括從數(shù)據(jù)資料庫中聯(lián)合獲取作業(yè)性能數(shù)據(jù)；對獲取的作業(yè)性能數(shù)據(jù)進行篩選，獲得作業(yè)I/O的性能數(shù)據(jù)；對獲得的作業(yè)I/O的性能數(shù)據(jù)進行二次篩選，分成若干獨立的I/O階段，獲得I/O階段數(shù)據(jù)；獲取I/O階段的總吞吐量、持續(xù)時間、帶寬峰值、帶寬眾數(shù)作為該I/O階段的特征數(shù)據(jù)；將I/O階段的特征數(shù)據(jù)與歷史I/O階段特征數(shù)據(jù)進行聚類，判斷I/O階段的特征數(shù)據(jù)是否異常。本發(fā)明通過將將I/O階段的特征數(shù)據(jù)與歷史I/O階段特征數(shù)據(jù)進行聚類，及時發(fā)現(xiàn)I/O的性能異常，方便根據(jù)判斷出的異常類型及時的進行處置解決，以實時對I/O性能進行優(yōu)化，提升系統(tǒng)資源利用率，提高I/O性能。