一種基于微服務(wù)的自動爬蟲管理方法
基本信息
| 申請?zhí)?/td> | CN202110096651.5 | 申請日 | - |
| 公開（公告）號 | CN112765438A | 公開（公告）日 | 2021-05-07 |
| 申請公布號 | CN112765438A | 申請公布日 | 2021-05-07 |
| 分類號 | G06F16/951(2019.01)I;G06F11/30(2006.01)I | 分類 | - |
| 發(fā)明人 | 王建偉 | 申請（專利權(quán)）人 | 北京星漢博納醫(yī)藥科技有限公司 |
| 代理機構(gòu) | 北京紐樂康知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 田磊 |
| 地址 | 100001北京市海淀區(qū)西北旺鎮(zhèn)永豐屯538號2號樓4層410、412室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于微服務(wù)的自動爬蟲管理方法，該方法包括以下步驟：服務(wù)端基于springboot微服務(wù)架構(gòu)和多線程技術(shù)，運行程序?qū)ε老x管理平臺進行任務(wù)接口抽象化，按照爬取同類網(wǎng)站重復(fù)步驟對任務(wù)接口定義規(guī)則；建立爬蟲任務(wù)流水線，對任務(wù)接口進行管理，實現(xiàn)客戶端網(wǎng)站數(shù)據(jù)自動化爬取操作；客戶端運用java或python任意一種編程語言，建立與服務(wù)端通信的爬蟲任務(wù)接口，客戶端通過token令牌進行注冊，注冊后客戶端與服務(wù)端做心跳機制溝通，領(lǐng)取爬蟲任務(wù)，并推送爬蟲結(jié)果數(shù)據(jù)。本發(fā)明的有益效果：本申請服務(wù)端基于運用微服務(wù)架構(gòu)和多線程技術(shù)，通過爬蟲管理平臺實現(xiàn)客戶端網(wǎng)站數(shù)據(jù)抓取，能夠?qū)ε老x客戶端和任務(wù)管理服務(wù)端快速擴容，提高爬蟲效率和節(jié)約人力成本。?? |
