分布式實時大數(shù)據(jù)分析系統(tǒng)

基本信息

申請?zhí)?/td> CN201810555906.8 申請日 -
公開（公告）號 CN108881415B 公開（公告）日 2020-11-17
申請公布號 CN108881415B 申請公布日 2020-11-17
分類號 H04L29/08 分類 電通信技術(shù);
發(fā)明人 鄭磊 申請（專利權(quán)）人 廣州億程交通信息有限公司
代理機構(gòu) 重慶強大凱創(chuàng)專利代理事務(wù)所(普通合伙) 代理人 隋金艷
地址 511450 廣東省廣州市番禺區(qū)大龍街清河?xùn)|路傍西路段番禺汽車客運站九樓
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及大數(shù)據(jù)處理系統(tǒng)技術(shù)領(lǐng)域，具體為分布式實時大數(shù)據(jù)分析系統(tǒng)，包括數(shù)據(jù)輸入模塊、特征值獲取模塊、分片模塊、節(jié)點路由模塊、計算節(jié)點、數(shù)據(jù)輸出模塊，數(shù)據(jù)輸入模塊用于從數(shù)據(jù)源中獲取數(shù)據(jù)，特征值獲取模塊用于從數(shù)據(jù)輸入模塊輸入的數(shù)據(jù)中獲取數(shù)據(jù)的特征值，分片模塊用于根據(jù)特征值對數(shù)據(jù)進行分片，計算節(jié)點用于對數(shù)據(jù)進行業(yè)務(wù)邏輯分析和處理，節(jié)點路由模塊包括節(jié)點狀態(tài)檢測記錄子模塊和節(jié)點匹配子模塊，節(jié)點狀態(tài)檢測記錄子模塊用于檢測和記錄各個計算節(jié)點的存活狀態(tài)。本發(fā)明提供的分布式實時大數(shù)據(jù)分析系統(tǒng)，能夠避免了單點故障引起的數(shù)據(jù)丟失問題、數(shù)據(jù)處理壓力問題。同時分布式架構(gòu)可以動態(tài)負(fù)載均衡、橫向擴展分析節(jié)點。