一種服務(wù)于互聯(lián)網(wǎng)數(shù)據(jù)采集的代理IP請求頻率自動(dòng)調(diào)整方法
基本信息
| 申請?zhí)?/td> | CN202010604567.5 | 申請日 | - |
| 公開（公告）號 | CN111756850A | 公開（公告）日 | 2020-10-09 |
| 申請公布號 | CN111756850A | 申請公布日 | 2020-10-09 |
| 分類號 | H04L29/08(2006.01)I | 分類 | 電通信技術(shù); |
| 發(fā)明人 | 范曉忻;文章;吳廣良 | 申請（專利權(quán)）人 | 金電聯(lián)行（北京）信息技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 北京愛普納杰專利代理事務(wù)所（特殊普通合伙） | 代理人 | 金電聯(lián)行（北京）信息技術(shù)有限公司 |
| 地址 | 100000北京市朝陽區(qū)朝外大街乙6號朝外sohoA座21層 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種服務(wù)于互聯(lián)網(wǎng)數(shù)據(jù)采集的代理IP請求頻率自動(dòng)調(diào)整方法，包括如下步驟：根據(jù)代理IP屬性，通過監(jiān)控代理IP當(dāng)前的下載時(shí)間來實(shí)時(shí)調(diào)整其間隔時(shí)間T，從而控制不同優(yōu)劣程度的代理IP的請求訪問頻率；所述間隔時(shí)間T是代理從上次使用完畢到下次使用開始的中間時(shí)間。本發(fā)明的技術(shù)方案可以控制不同優(yōu)劣程度的代理IP的請求訪問頻率；將好用的的代理的訪問頻率加大，將不好用的代理的訪問頻率減小或不使用；從宏觀上減少垃圾代理的使用時(shí)間，從而增加單位時(shí)間內(nèi)代理的任務(wù)下載量，提高爬蟲的效率。?? |
