爬蟲數(shù)據(jù)監(jiān)控方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110356886.3 申請(qǐng)日 -
公開（公告）號(hào) CN113220549A 公開（公告）日 2021-08-06
申請(qǐng)公布號(hào) CN113220549A 申請(qǐng)公布日 2021-08-06
分類號(hào) G06F11/34（2006.01）I;G06F16/951（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 常江;熊斌;李成剛;陳森彬 申請(qǐng)（專利權(quán)）人 深圳市獵芯科技有限公司
代理機(jī)構(gòu) 深圳中細(xì)軟知識(shí)產(chǎn)權(quán)代理有限公司 代理人 袁文英
地址 518000廣東省深圳市龍崗區(qū)坂田街道五和大道南2號(hào)萬(wàn)科星火ONLINE6棟301
法律狀態(tài) -

摘要

摘要 本發(fā)明實(shí)施例公開了一種爬蟲數(shù)據(jù)監(jiān)控方法，通過(guò)接收上報(bào)至搜索數(shù)據(jù)分析引擎的初始爬蟲日志，其中，初始爬蟲日志為日志收集器從日志收集器對(duì)應(yīng)的節(jié)點(diǎn)服務(wù)器上搜集得到；通過(guò)數(shù)據(jù)分析引擎對(duì)初始爬蟲日志進(jìn)行分析，得到采樣爬蟲數(shù)據(jù)；對(duì)采樣爬蟲數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，確定監(jiān)控結(jié)果，實(shí)現(xiàn)了對(duì)爬蟲過(guò)程的自動(dòng)化監(jiān)控，提高了對(duì)爬蟲數(shù)據(jù)的處理效率，進(jìn)而提高了爬蟲數(shù)據(jù)的穩(wěn)定性和準(zhǔn)確性，滿足了大規(guī)模爬蟲的需求。此外，還提出了一種爬蟲數(shù)據(jù)監(jiān)控裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。