一種信息爬取系統(tǒng)

基本信息

申請?zhí)?/td> CN201910510474.3 申請日 -
公開（公告）號 CN111339388B 公開（公告）日 2021-07-27
申請公布號 CN111339388B 申請公布日 2021-07-27
分類號 G06F16/951（2019.01）I;G06F16/955（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 胡崇海;熊友根;王洪濤 申請（專利權(quán)）人 海通證券股份有限公司
代理機構(gòu) 北京集佳知識產(chǎn)權(quán)代理有限公司 代理人 吳敏
地址 200001上海市黃浦區(qū)廣東路689號
法律狀態(tài) -

摘要

摘要 一種信息爬取系統(tǒng)，所述信息爬取系統(tǒng)包括：多個智能爬取節(jié)點，所述智能爬取節(jié)點部署在多個撥號虛擬專用服務(wù)器上，基于信息爬取時間與信息爬取狀態(tài)，動態(tài)切換所述撥號虛擬專用服務(wù)器的IP地址；資源調(diào)度系統(tǒng)，所述資源調(diào)度系統(tǒng)基于調(diào)度算法將待爬取鏈接分配給所述智能爬取節(jié)點以使其執(zhí)行爬取操作，并從各個智能爬取節(jié)點接收爬取結(jié)果。通過本發(fā)明提供的技術(shù)方案，可以建立穩(wěn)定的爬蟲系統(tǒng)，有效應(yīng)對反爬策略，實現(xiàn)數(shù)據(jù)的持續(xù)獲取。