一種基于Hadoop的數(shù)據(jù)分析方法
基本信息
申請(qǐng)?zhí)?/td> | CN201510252955.0 | 申請(qǐng)日 | - |
公開(kāi)(公告)號(hào) | CN104834557A | 公開(kāi)(公告)日 | 2015-08-12 |
申請(qǐng)公布號(hào) | CN104834557A | 申請(qǐng)公布日 | 2015-08-12 |
分類(lèi)號(hào) | G06F9/46(2006.01)I;G06F17/30(2006.01)I | 分類(lèi) | 計(jì)算;推算;計(jì)數(shù); |
發(fā)明人 | 高爽 | 申請(qǐng)(專(zhuān)利權(quán))人 | 上海蓬景數(shù)字營(yíng)銷(xiāo)策劃有限公司 |
代理機(jī)構(gòu) | 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 成都博元科技有限公司;上海蓬景數(shù)字營(yíng)銷(xiāo)策劃有限公司 |
地址 | 610000 四川省成都市高新技術(shù)開(kāi)發(fā)區(qū)府城大道西段399號(hào)7幢3-1208 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明提供了一種基于Hadoop的數(shù)據(jù)分析方法,用于通過(guò)基于云計(jì)算的數(shù)據(jù)分析處理系統(tǒng)進(jìn)行數(shù)據(jù)分析,所述數(shù)據(jù)分析處理系統(tǒng)基于Hadoop平臺(tái)作為計(jì)算環(huán)境,該數(shù)據(jù)分析處理系統(tǒng)由數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)分析模塊和事務(wù)處理模塊構(gòu)成,使用Hadoop中的MapReduce插件作為開(kāi)發(fā)工具,所述MapReduce對(duì)數(shù)據(jù)的操作包括Map操作和Reduce操作,所述Map操作是對(duì)輸入的鍵值對(duì)進(jìn)行指定的操作,生成一組中間鍵值對(duì),所述Reduce操作對(duì)Map操作輸出的中間鍵值對(duì)進(jìn)行規(guī)約合并。本發(fā)明的方法在基于云計(jì)算的數(shù)據(jù)分析處理中,能夠提高數(shù)據(jù)分析處理的執(zhí)行效率,特別是在大數(shù)據(jù)集的情況下效果尤為明顯。 |
