一種基于大數(shù)據(jù)運營分析的數(shù)據(jù)處理方法

基本信息

申請?zhí)?/td> CN201911088259.5 申請日 -
公開（公告）號 CN110825789A 公開（公告）日 2020-02-21
申請公布號 CN110825789A 申請公布日 2020-02-21
分類號 G06F16/2458;G06F16/22;G06F16/953;G06F11/14 分類 計算；推算；計數(shù);
發(fā)明人 楊杰;李尚祥 申請（專利權(quán)）人 浙江天空信息科技有限公司
代理機構(gòu) - 代理人 -
地址 325000 浙江省溫州市甌海經(jīng)濟開發(fā)區(qū)東方南路50號溫州市國家大學(xué)科技園孵化器1號樓2樓222-8
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其是一種基于大數(shù)據(jù)運營分析的數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)采集模塊，所述數(shù)據(jù)采集模塊對數(shù)據(jù)進行挖掘，將靜態(tài)數(shù)據(jù)以及動態(tài)數(shù)據(jù)進行收集，數(shù)據(jù)采集模塊將收集到的數(shù)據(jù)信息傳遞至數(shù)據(jù)存儲模塊中進行儲存以及備份，數(shù)據(jù)存儲模塊與數(shù)據(jù)預(yù)處理模塊進行信號連接，在通過數(shù)據(jù)預(yù)處理模塊對數(shù)據(jù)進行處理后，將處理后的數(shù)據(jù)傳遞至數(shù)據(jù)發(fā)布模塊中，所述數(shù)據(jù)預(yù)處理模塊包括處理器模塊，通過處理器模塊分別設(shè)置有Mapreduce框架模塊、Map函數(shù)模塊以及reduce函數(shù)模塊。本發(fā)明構(gòu)建Mapreduce編程模型，從而能夠?qū)⑹占暮Ａ康撵o態(tài)數(shù)據(jù)以及動態(tài)數(shù)據(jù)進行處理，實現(xiàn)處理過程的穩(wěn)定性。