一種日志實(shí)時(shí)處理方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201910897915.X 申請(qǐng)日 -
公開（公告）號(hào) CN110825598A 公開（公告）日 2020-02-21
申請(qǐng)公布號(hào) CN110825598A 申請(qǐng)公布日 2020-02-21
分類號(hào) G06F11/34;G06F16/18 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 周滔 申請(qǐng)（專利權(quán)）人 武漢智美互聯(lián)科技有限公司
代理機(jī)構(gòu) 北京匯信合知識(shí)產(chǎn)權(quán)代理有限公司 代理人 王維新
地址 430000 湖北省武漢市東湖新技術(shù)開發(fā)區(qū)光谷大道77號(hào)金融后臺(tái)服務(wù)中心基地建設(shè)項(xiàng)目二期B17棟11層01室-7
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種日志實(shí)時(shí)處理方法及系統(tǒng)，包括：接收日志：采用mmap的libpcap捕獲日志報(bào)文；過濾報(bào)文：根據(jù)發(fā)送日志的設(shè)備IP過濾掉非法報(bào)文；解析日志：按照預(yù)設(shè)格式逐個(gè)字段解析日志；格式化日志：按照預(yù)設(shè)字段順序拼接成標(biāo)準(zhǔn)csv格式的字符串，多線程入無鎖隊(duì)列；生成csv文件：根據(jù)硬件適配寫csv文件的線程及多隊(duì)列的數(shù)量；采用所適配的多線程多隊(duì)列，從無鎖隊(duì)列中取出數(shù)據(jù)寫入csv文件中；csv文件入庫：動(dòng)態(tài)監(jiān)測(cè)csv文件大小，若csv文件大于預(yù)設(shè)閾值，則立即入庫；對(duì)數(shù)據(jù)庫表進(jìn)行分區(qū)并設(shè)定索引key值；數(shù)據(jù)匯聚：按照預(yù)設(shè)條件對(duì)數(shù)據(jù)庫的原始數(shù)據(jù)進(jìn)行匯聚。