提升爬蟲代理質(zhì)量的方法、裝置及計算機(jī)可讀存儲介質(zhì)

基本信息

申請?zhí)?/td> CN201910403144.4 申請日 -
公開（公告）號 CN110147271A 公開（公告）日 2019-08-20
申請公布號 CN110147271A 申請公布日 2019-08-20
分類號 G06F9/48;G06F9/50;G06F16/951 分類 計算；推算；計數(shù);
發(fā)明人 劉希龍 申請（專利權(quán)）人 重慶八戒傳媒有限公司
代理機(jī)構(gòu) 北京酷愛智慧知識產(chǎn)權(quán)代理有限公司 代理人 重慶八戒傳媒有限公司
地址 401121 重慶市渝北區(qū)北部新區(qū)青楓北路30號(拓展區(qū)A5棟鳳凰C座第5層)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種提升爬蟲代理質(zhì)量的方法、裝置及計算機(jī)可讀存儲介質(zhì)，所述提升爬蟲代理質(zhì)量的方法包括：為若干代理池設(shè)置不同優(yōu)先級；基于代理池優(yōu)先級及其使用率來進(jìn)行代理池的調(diào)用。本發(fā)明通過對代理池合理分級，將代理按照優(yōu)質(zhì)程度分類放入代理池中，并根據(jù)代理池的代理使用率進(jìn)行代理池切換，實(shí)現(xiàn)網(wǎng)絡(luò)代理的有效管理，將優(yōu)質(zhì)代理的使用率提升到最大化，提高爬蟲程序的網(wǎng)絡(luò)資源獲取效率；檢測代理的可用狀態(tài)，保證其請求的成功性，排除不可于用的代理，一定程度上減少了對于網(wǎng)絡(luò)資源的占用，降低網(wǎng)絡(luò)請求對目標(biāo)服務(wù)器的傷害。