基于大數(shù)據(jù)的數(shù)據(jù)處理方法和裝置

基本信息

申請?zhí)?/td> CN201610827183.3 申請日 -
公開（公告）號 CN107818120B 公開（公告）日 2020-05-29
申請公布號 CN107818120B 申請公布日 2020-05-29
分類號 G06F16/182;G06F16/25;G06F16/28;G06F16/27 分類 計算；推算；計數(shù);
發(fā)明人 鄭壯杰 申請（專利權(quán)）人 博雅網(wǎng)絡(luò)游戲開發(fā)（深圳）有限公司
代理機(jī)構(gòu) 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 代理人 方高明
地址 518057 廣東省深圳市南山區(qū)中山園路1001號TCL產(chǎn)業(yè)園國際E城D3棟9B-C
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于大數(shù)據(jù)的數(shù)據(jù)處理方法和裝置。上述方法包括：實(shí)時監(jiān)控并采集各個數(shù)據(jù)源的第一數(shù)據(jù)；將所述第一數(shù)據(jù)傳輸至分布式消息系統(tǒng)進(jìn)行存儲；從所述分布式消息系統(tǒng)中讀取所述第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)化為預(yù)設(shè)格式，得到第二數(shù)據(jù)；獲取與所述第二數(shù)據(jù)對應(yīng)的數(shù)據(jù)處理框架，并將所述第二數(shù)據(jù)發(fā)送到與所述數(shù)據(jù)處理框架匹配的節(jié)點(diǎn)中；通過所述節(jié)點(diǎn)對所述第二數(shù)據(jù)進(jìn)行處理，并將所述第二數(shù)據(jù)寫入與所述節(jié)點(diǎn)匹配的數(shù)據(jù)處理框架。上述基于大數(shù)據(jù)的數(shù)據(jù)處理方法和裝置，能夠在保證數(shù)據(jù)處理框架集群的處理壓力不會過大的情況下，將數(shù)據(jù)實(shí)時寫入數(shù)據(jù)處理框架，并提高數(shù)據(jù)處理效率。