一種快速在線日志聚類的方法及設備

基本信息

申請?zhí)?/td> CN202110706311.X 申請日 -
公開（公告）號 CN113407656A 公開（公告）日 2021-09-17
申請公布號 CN113407656A 申請公布日 2021-09-17
分類號 G06F16/31（2019.01）I;G06F16/33（2019.01）I;G06F16/35（2019.01）I;G06F40/279（2020.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王洪濤 申請（專利權）人 上海上訊信息技術股份有限公司
代理機構 上海百一領御專利代理事務所（普通合伙） 代理人 王奎宇;楊顏顏
地址 201203上海市浦東新區(qū)張江高科技園區(qū)郭守敬路498號8幢20300室
法律狀態(tài) -

摘要

摘要 本申請的目的是提供一種快速在線日志聚類的方法及設備，本申請通過獲取待分析設備的當前日志數(shù)據(jù)；構建日志數(shù)據(jù)的變量識別規(guī)則庫和分隔符識別規(guī)則庫；使用所述變量識別規(guī)則庫對所述當前日志數(shù)據(jù)進行變量分詞處理。得到第一分詞結果，并使用所述分隔符識別規(guī)則庫對所述第一分詞結果進行再次分詞處理，得到目標切分日志數(shù)據(jù)，其中，每一條目標切分日志數(shù)據(jù)包含多個成分單詞；基于成分單詞的最大距離窗對所述目標切分日志數(shù)據(jù)進行快速聚類。解決現(xiàn)有技術中在常規(guī)的硬件資源條件下，難以實現(xiàn)高速、實時的日志聚類的問題，以滿足海量數(shù)據(jù)的日志運維需求，加快日志分析數(shù)據(jù)。