爬取數(shù)據(jù)的方法、裝置、介質(zhì)及電子設(shè)備

基本信息

申請?zhí)?/td> CN202110636165.8 申請日 -
公開（公告）號 CN113392301A 公開（公告）日 2021-09-14
申請公布號 CN113392301A 申請公布日 2021-09-14
分類號 G06F16/951（2019.01）I;G06F16/955（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊光;周天星 申請（專利權(quán)）人 北京精準(zhǔn)溝通傳媒科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100089北京市海淀區(qū)西三環(huán)北路50號院8號樓8層905
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及爬取數(shù)據(jù)的方法、裝置、介質(zhì)及電子設(shè)備。一種爬取數(shù)據(jù)的方法，包括：獲取與爬蟲任務(wù)相關(guān)的配置數(shù)據(jù)；從配置數(shù)據(jù)中獲取第一動(dòng)態(tài)請求信息；根據(jù)第一動(dòng)態(tài)請求信息配置第一動(dòng)態(tài)請求模板，第一動(dòng)態(tài)請求模板包含第一動(dòng)態(tài)參數(shù)；從第一動(dòng)態(tài)參數(shù)的數(shù)據(jù)源獲取第一動(dòng)態(tài)參數(shù)對應(yīng)的第一數(shù)據(jù)集合；基于第一數(shù)據(jù)集合和第一動(dòng)態(tài)請求模板生成第一動(dòng)態(tài)請求集合；基于第一動(dòng)態(tài)請求集合進(jìn)行下載，獲取第一響應(yīng)數(shù)據(jù)，所述第一響應(yīng)數(shù)據(jù)用于被解析生成第一結(jié)果數(shù)據(jù)，所述第一結(jié)果數(shù)據(jù)為具有特定格式的所述待爬取目標(biāo)的部分?jǐn)?shù)據(jù)。本發(fā)明的方案可以使對所爬取數(shù)據(jù)的解析便利和高效。