一種基于nginx日志的數(shù)據(jù)分析方法

基本信息

申請?zhí)?/td> CN201611129374.9 申請日 -
公開（公告）號 CN106777046A 公開（公告）日 2017-05-31
申請公布號 CN106777046A 申請公布日 2017-05-31
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 楊波 申請（專利權(quán)）人 武漢卓爾云市集團(tuán)有限公司
代理機(jī)構(gòu) 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 代理人 武漢卓爾云市集團(tuán)有限公司
地址 430000 湖北省武漢市黃陂區(qū)盤龍城漢口北大道88號漢口北電子商務(wù)大廈
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于nginx日志的數(shù)據(jù)分析方法，適用于nginx日志，數(shù)據(jù)分析方法包括：S1：通過flume模塊采集nginx服務(wù)器中的日志文件，并將日志文件轉(zhuǎn)移并保存到HDFS系統(tǒng)中；S2：通過Hive數(shù)據(jù)庫工具對HDFS系統(tǒng)中的數(shù)據(jù)進(jìn)行mapreduce操作，將加工后的數(shù)據(jù)保存在中間表中；S3：將中間表中的數(shù)據(jù)遷移到MySQL數(shù)據(jù)庫的結(jié)果表中。本發(fā)明的有益效果是：通過本技術(shù)方案可以實現(xiàn)通用化和更新服務(wù)不間斷，對數(shù)據(jù)進(jìn)行復(fù)雜維度分析。