一種日志采集的臟數(shù)據(jù)快速檢測(cè)及處理方法

基本信息

申請(qǐng)?zhí)?/td> CN202210014101.9 申請(qǐng)日 -
公開（公告）號(hào) CN114356908A 公開（公告）日 2022-04-15
申請(qǐng)公布號(hào) CN114356908A 申請(qǐng)公布日 2022-04-15
分類號(hào) G06F16/215（2019.01）I;G06F16/2458（2019.01）I;G06F16/28（2019.01）I;G06F16/22（2019.01）I;G06F9/54（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 黃詩賢;唐敏;張章學(xué);藍(lán)友樞;葉松 申請(qǐng)（專利權(quán)）人 福建省海峽信息技術(shù)有限公司
代理機(jī)構(gòu) 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 代理人 陳明鑫;蔡學(xué)俊
地址 350003福建省福州市鼓樓區(qū)北二環(huán)中路61號(hào)2號(hào)樓
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種日志采集的臟數(shù)據(jù)快速檢測(cè)及處理方法。包括：S1、采集各種不同網(wǎng)絡(luò)設(shè)備類型的日志，匯聚到消息中間件；S2、依據(jù)解析庫中解析規(guī)則對(duì)消息中間件中日志進(jìn)行解析規(guī)則匹配，匹配成功的提取字段，并執(zhí)行步驟S3；匹配不成功的認(rèn)為是臟數(shù)據(jù)，并執(zhí)行步驟S5；S3、依據(jù)字段分類庫中的字段分類規(guī)則對(duì)提取的字段進(jìn)行分類；S4、對(duì)分類完的字段，依據(jù)其對(duì)應(yīng)的分類值，通過廣度優(yōu)先遍歷，找到這個(gè)分類值的概率，同理找到相應(yīng)日志下所有字段的分類值的概率，依次對(duì)各個(gè)字段的分類值的概率進(jìn)行判斷，只要其中一個(gè)字段的分類值的概率大于設(shè)置的閾值，就判定為臟數(shù)據(jù)；S5、將臟數(shù)據(jù)存放到臟數(shù)據(jù)庫中，維護(hù)人員根據(jù)臟數(shù)據(jù)庫中臟數(shù)據(jù)對(duì)規(guī)則進(jìn)行重新調(diào)整。