一種海量日志數(shù)據(jù)的高效低成本處理方法

基本信息

申請?zhí)?/td> CN201711478101.X 申請日 -
公開（公告）號 CN108228797A 公開（公告）日 2018-06-29
申請公布號 CN108228797A 申請公布日 2018-06-29
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 馮謐 申請（專利權）人 上海全成通信技術有限公司
代理機構 上海科盛知識產(chǎn)權代理有限公司 代理人 應小波
地址 200050 上海市長寧區(qū)安化路492號A座(1幢)7樓732-2室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種海量日志數(shù)據(jù)的高效低成本處理方法，包括：并行處理臨時表初始化，刪除臨時數(shù)據(jù)；并行導入日志文件數(shù)據(jù)到臨時表；并行計算臨時表數(shù)據(jù)，執(zhí)行數(shù)據(jù)清洗，合并各路數(shù)據(jù)，生成最終的日志表數(shù)據(jù)；根據(jù)最終的日志表數(shù)據(jù)并行計算，獲得日志統(tǒng)計分析報表。與現(xiàn)有技術相比，本發(fā)明通過并行處理方式，有效的解決了海量日志數(shù)據(jù)的處理時間問題，同時避免了采用Hadoop、Hive對技術要求，開發(fā)維護成本高的問題，為中小型公司降低開發(fā)成本提供了解決方案。