一種異構數(shù)據(jù)實時采集的方法

基本信息

申請?zhí)?/td> CN201910534200.8 申請日 -
公開（公告）號 CN110297871A 公開（公告）日 2019-10-01
申請公布號 CN110297871A 申請公布日 2019-10-01
分類號 G06F16/28;H04L12/24;H04L29/06;H04L29/08 分類 計算；推算；計數(shù);
發(fā)明人 顧凌云;王偉;李軍軍;李海全;張力華 申請（專利權）人 常州冰鑒信息科技有限公司
代理機構 常州佰業(yè)騰飛專利代理事務所（普通合伙） 代理人 常州冰鑒信息科技有限公司
地址 213164 江蘇省常州市武進區(qū)常州科教城中科創(chuàng)業(yè)中心A-1-904室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種異構數(shù)據(jù)實時采集的方法，屬于大數(shù)據(jù)技術領域，包括建立數(shù)個代理服務器、數(shù)個對接服務器和管理服務器，在每一個代理服務器中均建立一個或多個Agent組件，在每一個對接服務器中均建立一個或多個Sink組件，在管理服務器中建立MQ日志隊列和配置頁面，解決了數(shù)據(jù)采集不及時以及采集時間點集中影響業(yè)務系統(tǒng)的技術問題，本發(fā)明將對不同數(shù)據(jù)源的實時采集,底層采用不同的技術,但是在上層是統(tǒng)一的管理和操作方法，通過實時分析數(shù)據(jù)庫日志來采集數(shù)據(jù)的方式，本發(fā)明為了解決傳輸性能和可靠采用的數(shù)據(jù)封包協(xié)議。