一種基于Hadoop的數(shù)據(jù)分析方法

基本信息

申請?zhí)?/td> CN201510252955.0 申請日 -
公開（公告）號 CN104834557B 公開（公告）日 2018-05-22
申請公布號 CN104834557B 申請公布日 2018-05-22
分類號 G06F9/46;G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 高爽 申請（專利權(quán)）人 成都博元科技有限公司
代理機構(gòu) 北京天奇智新知識產(chǎn)權(quán)代理有限公司 代理人 成都博元科技有限公司;上海蓬景數(shù)字營銷策劃有限公司
地址 610000 四川省成都市高新技術開發(fā)區(qū)府城大道西段399號7幢3-1208
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于Hadoop的數(shù)據(jù)分析方法，用于通過基于云計算的數(shù)據(jù)分析處理系統(tǒng)進行數(shù)據(jù)分析，所述數(shù)據(jù)分析處理系統(tǒng)基于Hadoop平臺作為計算環(huán)境，該數(shù)據(jù)分析處理系統(tǒng)由數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊和事務處理模塊構(gòu)成，使用Hadoop中的MapReduce插件作為開發(fā)工具，所述MapReduce對數(shù)據(jù)的操作包括Map操作和Reduce操作，所述Map操作是對輸入的鍵值對進行指定的操作，生成一組中間鍵值對，所述Reduce操作對Map操作輸出的中間鍵值對進行規(guī)約合并。本發(fā)明的方法在基于云計算的數(shù)據(jù)分析處理中，能夠提高數(shù)據(jù)分析處理的執(zhí)行效率，特別是在大數(shù)據(jù)集的情況下效果尤為明顯。