一種大數(shù)據(jù)統(tǒng)計方法和裝置

基本信息

申請?zhí)?/td> CN202110528336.5 申請日 -
公開（公告）號 CN113377829A 公開（公告）日 2021-09-10
申請公布號 CN113377829A 申請公布日 2021-09-10
分類號 G06F16/2458（2019.01）I;G06F16/2457（2019.01）I;G06F16/28（2019.01）I;G06F16/27（2019.01）I;G06F16/25（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 劉小林;何鵬 申請（專利權(quán)）人 中國民生銀行股份有限公司
代理機構(gòu) 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 代理人 莎日娜
地址 100031北京市西城區(qū)復(fù)興門內(nèi)大街2號
法律狀態(tài) -

摘要

摘要 本發(fā)明實施例提供了一種大數(shù)據(jù)統(tǒng)計方法和裝置，所述方法包括：從分布式文件系統(tǒng)HDFS中獲取數(shù)據(jù)集，然后根據(jù)預(yù)設(shè)的配置文件的分類信息，對數(shù)據(jù)集的數(shù)據(jù)進行分類，得到多個類型的數(shù)據(jù)子集，接著根據(jù)預(yù)設(shè)的配置文件的過濾信息，分別對多個類型的數(shù)據(jù)子集進行過濾，得到多個過濾后的數(shù)據(jù)子集，最后對多個過濾后的數(shù)據(jù)子集進行數(shù)據(jù)統(tǒng)計。本發(fā)明實施例通過預(yù)設(shè)的配置文件自動對大數(shù)據(jù)進行分類、過濾和統(tǒng)計，實現(xiàn)不同的業(yè)務(wù)需求，無需開發(fā)人員重復(fù)編寫類似的代碼，從而簡化了開發(fā)流程，縮短了開發(fā)周期、提高了開發(fā)效率。