提升爬蟲代理質(zhì)量的方法、裝置及計算機可讀存儲介質(zhì)

基本信息

申請?zhí)?/td> CN201910403144.4 申請日 -
公開（公告）號 CN110147271B 公開（公告）日 2020-04-28
申請公布號 CN110147271B 申請公布日 2020-04-28
分類號 G06F9/48;G06F9/50;G06F16/951 分類 計算；推算；計數(shù);
發(fā)明人 劉希龍 申請（專利權(quán)）人 重慶八戒傳媒有限公司
代理機構(gòu) 北京酷愛智慧知識產(chǎn)權(quán)代理有限公司 代理人 重慶八戒傳媒有限公司
地址 401121 重慶市渝北區(qū)北部新區(qū)青楓北路30號（拓展區(qū)A5棟鳳凰C座第5層）
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種提升爬蟲代理質(zhì)量的方法、裝置及計算機可讀存儲介質(zhì)，所述提升爬蟲代理質(zhì)量的方法包括：為若干代理池設(shè)置不同優(yōu)先級；基于代理池優(yōu)先級及其使用率來進行代理池的調(diào)用。本發(fā)明通過對代理池合理分級，將代理按照優(yōu)質(zhì)程度分類放入代理池中，并根據(jù)代理池的代理使用率進行代理池切換，實現(xiàn)網(wǎng)絡(luò)代理的有效管理，將優(yōu)質(zhì)代理的使用率提升到最大化，提高爬蟲程序的網(wǎng)絡(luò)資源獲取效率；檢測代理的可用狀態(tài)，保證其請求的成功性，排除不可于用的代理，一定程度上減少了對于網(wǎng)絡(luò)資源的占用，降低網(wǎng)絡(luò)請求對目標服務(wù)器的傷害。