爬蟲任務(wù)處理方法及裝置
基本信息
| 申請?zhí)?/td> | CN201811441550.1 | 申請日 | - |
| 公開（公告）號 | CN109492149B | 公開（公告）日 | 2021-04-09 |
| 申請公布號 | CN109492149B | 申請公布日 | 2021-04-09 |
| 分類號 | G06F16/951(2019.01)I | 分類 | - |
| 發(fā)明人 | 徐偉 | 申請（專利權(quán)）人 | 深圳大宇無限科技有限公司 |
| 代理機(jī)構(gòu) | 北京超凡宏宇專利代理事務(wù)所（特殊普通合伙） | 代理人 | 李強(qiáng) |
| 地址 | 518000廣東省深圳市南山區(qū)粵海街道高新區(qū)社區(qū)科苑南路3099號中國儲能大廈1701E單元 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本申請實施例提供了一種爬蟲任務(wù)處理方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。方法包括：獲得爬蟲任務(wù)；根據(jù)爬蟲任務(wù)的優(yōu)先級，將爬蟲任務(wù)加入到至少兩個任務(wù)隊列中與優(yōu)先級對應(yīng)的目標(biāo)任務(wù)隊列；從至少兩個任務(wù)隊列中選擇出目標(biāo)任務(wù)隊列以待處理爬蟲任務(wù)，其中，目標(biāo)任務(wù)隊列對應(yīng)的優(yōu)先級越高使得目標(biāo)任務(wù)隊列被選擇出的概率越大。故在保證各任務(wù)基于優(yōu)先級而有序被處理的情況下，不會對設(shè)備性能要求很高，實現(xiàn)低成本的設(shè)備也可以良好執(zhí)行爬蟲任務(wù)。?? |
