互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)及方法

基本信息

申請?zhí)?/td> CN201710373303.1 申請日 -
公開（公告）號 CN107357804A 公開（公告）日 2017-11-17
申請公布號 CN107357804A 申請公布日 2017-11-17
分類號 G06F17/30(2006.01)I;G06Q40/02(2012.01)I 分類 計算；推算；計數(shù);
發(fā)明人 馮普超 申請（專利權）人 上海五行嘉信息技術有限公司
代理機構(gòu) 北京德恒律治知識產(chǎn)權代理有限公司 代理人 章社杲;盧軍峰
地址 200941 上海市寶山區(qū)德都路月浦六村88號B380室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)及分析方法，該分析系統(tǒng)包括順序連接的采集模塊、傳輸模塊、以及處理模塊；其中，采集模塊利用flume實時收集業(yè)務日志；傳輸模塊利用kafka技術對業(yè)務日志進行傳輸，處理模塊接收業(yè)務日志并利用storm對業(yè)務日志進行實時計算和分析以得到監(jiān)控數(shù)據(jù)。通過flume來實時收集業(yè)務日志，實現(xiàn)了對海量日志的實時收集；還通過kafka傳輸業(yè)務日志，保證了在出現(xiàn)高并發(fā)時不會出現(xiàn)性能瓶頸；并通過storm的水平拓展能力，能夠處理海量數(shù)據(jù)，且實時性高。