一種分布式計算作業(yè)日志數(shù)據(jù)處理方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN202210120296.5 申請日 -
公開（公告）號 CN114153823A 公開（公告）日 2022-03-08
申請公布號 CN114153823A 申請公布日 2022-03-08
分類號 G06F16/21（2019.01）I;G06F16/22（2019.01）I;G06F16/2453（2019.01）I;G06F9/54（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 朱輝;張濤;薛延波;趙鵬 申請（專利權(quán)）人 北京華品博睿網(wǎng)絡(luò)技術(shù)有限公司
代理機構(gòu) 北京君泊知識產(chǎn)權(quán)代理有限公司 代理人 周倩
地址 100028北京市朝陽區(qū)太陽宮中路16號院1號樓18層1801內(nèi)09
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種分布式計算作業(yè)日志數(shù)據(jù)處理方法和系統(tǒng)。該方法包括：日志標記，針對分布式計算引擎的各個計算節(jié)點，將不同計算作業(yè)應(yīng)用實時產(chǎn)生的日志根據(jù)唯一標識進行標記；匯聚入庫，將標記后的計算作業(yè)應(yīng)用日志和系統(tǒng)日志采用消息隊列采集，并根據(jù)日志標識進行日志拆分，按照一個計算作業(yè)應(yīng)用對應(yīng)一份日志的粒度進行實時分流，并將分流后的日志利用搜索引擎進行索引數(shù)據(jù)入庫，構(gòu)建計算作業(yè)應(yīng)用日志的日志搜索數(shù)據(jù)庫。本發(fā)明的有益效果為：通過針對實時計算作業(yè)產(chǎn)生的日志進行標識，區(qū)分不同的計算作業(yè)，利用高可用的日志采集方式，進行實時計算引擎的日志匯聚，并利用搜索引擎進行索引數(shù)據(jù)入庫，用于日常日志搜索，提高了日志查詢效率。