爬蟲數(shù)據(jù)監(jiān)控方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110356886.3 申請日 -
公開（公告）號 CN113220549A 公開（公告）日 2021-08-06
申請公布號 CN113220549A 申請公布日 2021-08-06
分類號 G06F11/34（2006.01）I;G06F16/951（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 常江;熊斌;李成剛;陳森彬 申請（專利權(quán)）人 深圳市獵芯科技有限公司
代理機構(gòu) 深圳中細軟知識產(chǎn)權(quán)代理有限公司 代理人 袁文英
地址 518000廣東省深圳市龍崗區(qū)坂田街道五和大道南2號萬科星火ONLINE6棟301
法律狀態(tài) -

摘要

摘要 本發(fā)明實施例公開了一種爬蟲數(shù)據(jù)監(jiān)控方法，通過接收上報至搜索數(shù)據(jù)分析引擎的初始爬蟲日志，其中，初始爬蟲日志為日志收集器從日志收集器對應(yīng)的節(jié)點服務(wù)器上搜集得到；通過數(shù)據(jù)分析引擎對初始爬蟲日志進行分析，得到采樣爬蟲數(shù)據(jù)；對采樣爬蟲數(shù)據(jù)進行統(tǒng)計分析，確定監(jiān)控結(jié)果，實現(xiàn)了對爬蟲過程的自動化監(jiān)控，提高了對爬蟲數(shù)據(jù)的處理效率，進而提高了爬蟲數(shù)據(jù)的穩(wěn)定性和準(zhǔn)確性，滿足了大規(guī)模爬蟲的需求。此外，還提出了一種爬蟲數(shù)據(jù)監(jiān)控裝置、計算機設(shè)備及存儲介質(zhì)。