一種基于Hadoop的數(shù)據(jù)分析方法

基本信息

申請(qǐng)?zhí)?/td> CN201510252955.0 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN104834557A 公開(kāi)（公告）日 2015-08-12
申請(qǐng)公布號(hào) CN104834557A 申請(qǐng)公布日 2015-08-12
分類(lèi)號(hào) G06F9/46(2006.01)I;G06F17/30(2006.01)I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 高爽 申請(qǐng)（專(zhuān)利權(quán)）人 上海蓬景數(shù)字營(yíng)銷(xiāo)策劃有限公司
代理機(jī)構(gòu) 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 代理人 成都博元科技有限公司;上海蓬景數(shù)字營(yíng)銷(xiāo)策劃有限公司
地址 610000 四川省成都市高新技術(shù)開(kāi)發(fā)區(qū)府城大道西段399號(hào)7幢3-1208
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于Hadoop的數(shù)據(jù)分析方法，用于通過(guò)基于云計(jì)算的數(shù)據(jù)分析處理系統(tǒng)進(jìn)行數(shù)據(jù)分析，所述數(shù)據(jù)分析處理系統(tǒng)基于Hadoop平臺(tái)作為計(jì)算環(huán)境，該數(shù)據(jù)分析處理系統(tǒng)由數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)分析模塊和事務(wù)處理模塊構(gòu)成，使用Hadoop中的MapReduce插件作為開(kāi)發(fā)工具，所述MapReduce對(duì)數(shù)據(jù)的操作包括Map操作和Reduce操作，所述Map操作是對(duì)輸入的鍵值對(duì)進(jìn)行指定的操作，生成一組中間鍵值對(duì)，所述Reduce操作對(duì)Map操作輸出的中間鍵值對(duì)進(jìn)行規(guī)約合并。本發(fā)明的方法在基于云計(jì)算的數(shù)據(jù)分析處理中，能夠提高數(shù)據(jù)分析處理的執(zhí)行效率，特別是在大數(shù)據(jù)集的情況下效果尤為明顯。