數(shù)據(jù)處理方法、爬蟲(chóng)裝置、介質(zhì)及電子設(shè)備

基本信息

申請(qǐng)?zhí)?/td> CN202110477956.0 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113190736A 公開(kāi)（公告）日 2021-07-30
申請(qǐng)公布號(hào) CN113190736A 申請(qǐng)公布日 2021-07-30
分類號(hào) G06F16/951（2019.01）I;G06F16/955（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊光;周天星 申請(qǐng)（專利權(quán)）人 北京精準(zhǔn)溝通傳媒科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100089北京市海淀區(qū)西三環(huán)北路50號(hào)院8號(hào)樓8層905
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種數(shù)據(jù)處理方法、爬蟲(chóng)裝置、介質(zhì)及電子設(shè)備。一種數(shù)據(jù)處理方法，包括：獲取與爬蟲(chóng)任務(wù)相關(guān)的配置數(shù)據(jù)；獲取執(zhí)行爬蟲(chóng)任務(wù)下載得到的返回?cái)?shù)據(jù)；利用從配置數(shù)據(jù)中獲取的與返回?cái)?shù)據(jù)的解析相關(guān)的信息，對(duì)返回?cái)?shù)據(jù)進(jìn)行解析，獲得期望提取的結(jié)果數(shù)據(jù)；確定返回?cái)?shù)據(jù)的類型是否為第一類型，如果否，則將結(jié)果數(shù)據(jù)轉(zhuǎn)換為第一類型的結(jié)果數(shù)據(jù)，否則，則不對(duì)結(jié)果數(shù)據(jù)進(jìn)行轉(zhuǎn)換；存儲(chǔ)第一類型的結(jié)果數(shù)據(jù)。根據(jù)本發(fā)明的方案，能夠不受限于所爬取目標(biāo)對(duì)象的類型而統(tǒng)一地管理所爬取的數(shù)據(jù)，便于對(duì)所爬取數(shù)據(jù)的后續(xù)管理、維護(hù)及各種處理。