一種網(wǎng)頁(yè)數(shù)據(jù)采集方法、裝置、系統(tǒng)及介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110258442.6 申請(qǐng)日 -
公開（公告）號(hào) CN112948659A 公開（公告）日 2021-06-11
申請(qǐng)公布號(hào) CN112948659A 申請(qǐng)公布日 2021-06-11
分類號(hào) G06F16/951;G06F16/9536 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 葉世立 申請(qǐng)（專利權(quán)）人 深圳九星互動(dòng)科技有限公司
代理機(jī)構(gòu) 廣東良馬律師事務(wù)所 代理人 李良
地址 518000 廣東省深圳市前海深港合作區(qū)南山街道興海大道3046號(hào)香江金融大廈2809-2817
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種網(wǎng)頁(yè)數(shù)據(jù)采集方法、裝置、系統(tǒng)及介質(zhì)，方法包括：接收網(wǎng)頁(yè)數(shù)據(jù)采集請(qǐng)求并生成相應(yīng)的采集配置文件；根據(jù)所述采集配置文件生成若干個(gè)相應(yīng)的網(wǎng)絡(luò)爬蟲并形成消息列隊(duì)；通過派發(fā)的采集任務(wù)控制所述消息列隊(duì)中的網(wǎng)絡(luò)爬蟲協(xié)同采集，獲取目標(biāo)網(wǎng)頁(yè)數(shù)據(jù)；對(duì)所述目標(biāo)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行分類過濾后存儲(chǔ)至預(yù)設(shè)數(shù)據(jù)庫(kù)。本發(fā)明實(shí)施例通過將生成的網(wǎng)絡(luò)爬蟲形成消息列隊(duì)，在進(jìn)行數(shù)據(jù)采集時(shí)通過派發(fā)采集任務(wù)控制所述消息列隊(duì)中的網(wǎng)絡(luò)爬蟲協(xié)同采集，使得能根據(jù)實(shí)際服務(wù)器資源負(fù)載靈活調(diào)整網(wǎng)絡(luò)爬蟲的采集任務(wù)，有效均衡了網(wǎng)頁(yè)數(shù)據(jù)采集時(shí)的服務(wù)器資源負(fù)載。