一種面向網(wǎng)絡(luò)的分布式通用數(shù)據(jù)采集方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN201810572779.2 申請日 -
公開（公告）號(hào) CN109088908A 公開（公告）日 2018-12-25
申請公布號(hào) CN109088908A 申請公布日 2018-12-25
分類號(hào) H04L29/08;H04L12/24 分類 電通信技術(shù);
發(fā)明人 鐘剛 申請（專利權(quán)）人 武漢酷犬?dāng)?shù)據(jù)科技有限公司
代理機(jī)構(gòu) 北京一格知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 武漢酷犬?dāng)?shù)據(jù)科技有限公司
地址 430000 湖北省武漢市東湖高新技術(shù)開發(fā)區(qū)光谷軟件園A1-F10
法律狀態(tài) -

摘要

摘要 本發(fā)明特別涉及一種面向網(wǎng)絡(luò)的分布式通用數(shù)據(jù)采集方法，包括以下步驟：服務(wù)器節(jié)點(diǎn)通過競爭機(jī)制在redis緩存中注冊為管理節(jié)點(diǎn)；管理節(jié)點(diǎn)將有效采集任務(wù)以隊(duì)列形式置入redis的等待采集隊(duì)列中，并以第一預(yù)設(shè)頻率對等待采集隊(duì)列進(jìn)行更新；各個(gè)采集節(jié)點(diǎn)獲取采集任務(wù)，并在采集完成后，將采集任務(wù)放入已完成采集隊(duì)列，且標(biāo)記新一輪采集時(shí)間。當(dāng)管理節(jié)點(diǎn)故障時(shí)，采集節(jié)點(diǎn)可通過自適應(yīng)的異常檢測自動(dòng)選舉出新的管理節(jié)點(diǎn)。同時(shí)系統(tǒng)需要擴(kuò)容時(shí)，可以新增采集節(jié)點(diǎn)，并自動(dòng)加入采集集群后從等待采集隊(duì)列獲取采集任務(wù)開始采集，不需要集群重啟，不僅提高了數(shù)據(jù)采集的速度和效率，而且具有較高的健壯性、可擴(kuò)展性和可管理性，擴(kuò)大了數(shù)據(jù)采集方法的應(yīng)用范圍。