一種基于HDFS集群的海量數(shù)據(jù)分析統(tǒng)計(jì)方法

基本信息

申請?zhí)?/td> CN201710206439.3 申請日 -
公開（公告）號(hào) CN107025140A 公開（公告）日 2017-08-08
申請公布號(hào) CN107025140A 申請公布日 2017-08-08
分類號(hào) G06F9/50(2006.01)I;G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 林森;唐寧;馬娜 申請（專利權(quán)）人 北京快友世紀(jì)科技股份有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100020 北京市朝陽區(qū)東三環(huán)北路甲2號(hào)7幢315室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于HDFS集群的海量數(shù)據(jù)分析統(tǒng)計(jì)方法，其特征在于：包括建立支線調(diào)度器，采用配置文件創(chuàng)建支線，初始化支線，數(shù)據(jù)分組，數(shù)據(jù)統(tǒng)計(jì)輸出，以及釋放資源。本發(fā)明通過設(shè)置支線，將全部數(shù)據(jù)掃描的次數(shù)從數(shù)據(jù)維度數(shù)降為1次，從而大幅提高統(tǒng)計(jì)分析數(shù)據(jù)的效率。并且，由于采用“支線”，在完成一個(gè)數(shù)據(jù)維度的統(tǒng)計(jì)后，負(fù)責(zé)該維度統(tǒng)計(jì)的支線所占用的系統(tǒng)資源釋放將得到釋放，這些系統(tǒng)資源又可運(yùn)用于其他數(shù)據(jù)統(tǒng)計(jì)和分析，在不增加硬件設(shè)備的情況下，滿足了當(dāng)前廣告業(yè)界對業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)的高需求。