一種網絡爬蟲代理隧道的負載均衡調度及異常重試方法
基本信息
| 申請?zhí)?/td> | CN202010019709.1 | 申請日 | - |
| 公開（公告）號 | CN111240839A | 公開（公告）日 | 2020-06-05 |
| 申請公布號 | CN111240839A | 申請公布日 | 2020-06-05 |
| 分類號 | G06F9/50(2006.01)I;G06F16/951(2019.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 李博;龍永超 | 申請（專利權）人 | 中聯(lián)財聯(lián)網科技有限公司 |
| 代理機構 | 北京勁創(chuàng)知識產權代理事務所（普通合伙） | 代理人 | 中聯(lián)財聯(lián)網科技有限公司 |
| 地址 | 100032北京市西城區(qū)復興門內大街28號凱晨世貿中心東座F4層639室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供一種網絡爬蟲代理隧道的負載均衡調度及異常重試方法，屬于網絡搜索技術領域，適用于通過多條代理隧道進行分布式爬取網頁信息的場景。本發(fā)明提供一種網絡爬蟲代理隧道的負載均衡調度及異常重試方法，有效提升代理隧道資源的利用率，大大降低高并發(fā)情形下網頁訪問的失敗率，顯著地縮短了任務爬取時間。?? |
