一種基于分布式存儲的數(shù)據(jù)動態(tài)處理方法

基本信息

申請?zhí)?/td> CN202010341795.8 申請日 -
公開(公告)號 CN111611222A 公開(公告)日 2020-09-01
申請公布號 CN111611222A 申請公布日 2020-09-01
分類號 G06F16/182(2019.01)I 分類 -
發(fā)明人 沈慧 申請(專利權)人 上海鼎茂信息技術有限公司
代理機構 - 代理人 -
地址 200000上海市普陀區(qū)嵐皋路555號1708室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于分布式存儲的數(shù)據(jù)動態(tài)處理方法,系統(tǒng)架構包括邊緣數(shù)據(jù)采集層,數(shù)據(jù)分析層、交互層。包括步驟:1、響應搜索請求;2、拆分搜索請求;3、搜索請求處理;4、生成數(shù)據(jù)請求;5、數(shù)據(jù)初級搜索;6、數(shù)據(jù)轉發(fā);7、解析索引;8、搜索分析引擎處理數(shù)據(jù);9、分片搜索分析結果匯總;10、交互層可視化展現(xiàn)。本發(fā)明在數(shù)據(jù)處理過程中引入了根據(jù)分片規(guī)則生成數(shù)據(jù)請求、創(chuàng)建數(shù)據(jù)轉發(fā)實例實現(xiàn)數(shù)據(jù)從邊緣收集節(jié)點到分析節(jié)點的動態(tài)轉發(fā)、動態(tài)裝載解析索引引擎的方法,解決了即可支持動態(tài)搜索又可以消除由于中央存儲帶來的數(shù)據(jù)容量的壁壘的難點,為大數(shù)據(jù)分析提供了一種可靠的數(shù)據(jù)處理里方法。??