面向帶有描述信息的海量非結(jié)構(gòu)化數(shù)據(jù)分布式處理系統(tǒng)

基本信息

申請?zhí)?/td> CN201310214367.9 申請日 -
公開（公告）號 CN104216899B 公開（公告）日 2016-11-30
申請公布號 CN104216899B 申請公布日 2016-11-30
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 林立偉;崔星燦;董振 申請（專利權(quán)）人 濟南觀瀾數(shù)據(jù)技術(shù)有限公司
代理機構(gòu) 濟南圣達知識產(chǎn)權(quán)代理有限公司 代理人 王吉勇
地址 250101 山東省濟南市高新區(qū)開拓路2350號513室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種面向帶有描述信息的海量非結(jié)構(gòu)化數(shù)據(jù)分布式處理系統(tǒng)，包括數(shù)據(jù)采集模塊，收集非結(jié)構(gòu)化數(shù)據(jù)并發(fā)送至數(shù)據(jù)緩沖隊列中；數(shù)據(jù)緩沖及預(yù)處理模塊，暫存數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)，并可選擇的對數(shù)據(jù)進行修復(fù)或二次處理工作；數(shù)據(jù)分離及歸檔存儲模塊，從前一個模塊分布式隊列中獲取數(shù)據(jù)，可選擇對非結(jié)構(gòu)化數(shù)據(jù)和描述信息分離，分離后的數(shù)據(jù)轉(zhuǎn)發(fā)或存儲至后繼模塊，流處理模塊，對最近接入的數(shù)據(jù)進行實時監(jiān)測、比對、計算和處理；分布式數(shù)據(jù)存儲模塊，對非結(jié)構(gòu)化數(shù)據(jù)和描述信息存儲；分布式業(yè)務(wù)處理模塊，包含業(yè)務(wù)處理器、數(shù)據(jù)訪問單元和數(shù)據(jù)緩存組件；分布式消息中間件，接收前端請求供業(yè)務(wù)處理器選擇執(zhí)行，或?qū)⒑笈_處理結(jié)果返回給前端。