一種大數(shù)據(jù)統(tǒng)計(jì)方法和裝置

基本信息

申請(qǐng)?zhí)?/td> CN202110528336.5 申請(qǐng)日 -
公開（公告）號(hào) CN113377829A 公開（公告）日 2021-09-10
申請(qǐng)公布號(hào) CN113377829A 申請(qǐng)公布日 2021-09-10
分類號(hào) G06F16/2458（2019.01）I;G06F16/2457（2019.01）I;G06F16/28（2019.01）I;G06F16/27（2019.01）I;G06F16/25（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉小林;何鵬 申請(qǐng)（專利權(quán)）人 中國(guó)民生銀行股份有限公司
代理機(jī)構(gòu) 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 代理人 莎日娜
地址 100031北京市西城區(qū)復(fù)興門內(nèi)大街2號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)統(tǒng)計(jì)方法和裝置，所述方法包括：從分布式文件系統(tǒng)HDFS中獲取數(shù)據(jù)集，然后根據(jù)預(yù)設(shè)的配置文件的分類信息，對(duì)數(shù)據(jù)集的數(shù)據(jù)進(jìn)行分類，得到多個(gè)類型的數(shù)據(jù)子集，接著根據(jù)預(yù)設(shè)的配置文件的過濾信息，分別對(duì)多個(gè)類型的數(shù)據(jù)子集進(jìn)行過濾，得到多個(gè)過濾后的數(shù)據(jù)子集，最后對(duì)多個(gè)過濾后的數(shù)據(jù)子集進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。本發(fā)明實(shí)施例通過預(yù)設(shè)的配置文件自動(dòng)對(duì)大數(shù)據(jù)進(jìn)行分類、過濾和統(tǒng)計(jì)，實(shí)現(xiàn)不同的業(yè)務(wù)需求，無需開發(fā)人員重復(fù)編寫類似的代碼，從而簡(jiǎn)化了開發(fā)流程，縮短了開發(fā)周期、提高了開發(fā)效率。