一種網(wǎng)絡(luò)爬蟲代理隧道的負載均衡調(diào)度及異常重試方法
基本信息
| 申請?zhí)?/td> | CN202010019709.1 | 申請日 | - |
| 公開（公告）號 | CN111240839A | 公開（公告）日 | 2020-06-05 |
| 申請公布號 | CN111240839A | 申請公布日 | 2020-06-05 |
| 分類號 | G06F9/50(2006.01)I;G06F16/951(2019.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 李博;龍永超 | 申請（專利權(quán)）人 | 中聯(lián)財聯(lián)網(wǎng)科技有限公司 |
| 代理機構(gòu) | 北京勁創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 中聯(lián)財聯(lián)網(wǎng)科技有限公司 |
| 地址 | 100032北京市西城區(qū)復(fù)興門內(nèi)大街28號凱晨世貿(mào)中心東座F4層639室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供一種網(wǎng)絡(luò)爬蟲代理隧道的負載均衡調(diào)度及異常重試方法，屬于網(wǎng)絡(luò)搜索技術(shù)領(lǐng)域，適用于通過多條代理隧道進行分布式爬取網(wǎng)頁信息的場景。本發(fā)明提供一種網(wǎng)絡(luò)爬蟲代理隧道的負載均衡調(diào)度及異常重試方法，有效提升代理隧道資源的利用率，大大降低高并發(fā)情形下網(wǎng)頁訪問的失敗率，顯著地縮短了任務(wù)爬取時間。?? |
