自演進(jìn)的網(wǎng)絡(luò)自適應(yīng)爬蟲方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201710798931.4 申請(qǐng)日 -
公開（公告）號(hào) CN107580052B 公開（公告）日 2020-04-10
申請(qǐng)公布號(hào) CN107580052B 申請(qǐng)公布日 2020-04-10
分類號(hào) H04L29/08;H04L29/12;G06F16/951;G06N5/02 分類 電通信技術(shù);
發(fā)明人 何有樹;莫默;唐東;周維軍 申請(qǐng)（專利權(quán)）人 翼果（深圳）科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 518000 廣東省深圳市南山區(qū)粵海街道軟件產(chǎn)業(yè)基地4棟B座203
法律狀態(tài) -

摘要

摘要 本發(fā)明實(shí)施例公開了一種自演進(jìn)的網(wǎng)絡(luò)自適應(yīng)爬蟲方法及系統(tǒng)，所述爬蟲方法包括：步驟1：接收采集任務(wù)，若接收為IP地址進(jìn)入步驟4，接收為域名則查詢是否存在于自建的DNS系統(tǒng)，若存在，則查詢記錄是否超時(shí)，若未超時(shí)則進(jìn)入步驟4；步驟2：若不存在或超時(shí)則查詢目標(biāo)網(wǎng)站的所有IP地址；步驟3：探測(cè)IP地址并生成域名IP列表并更新；步驟4：探測(cè)IP地址的網(wǎng)絡(luò)環(huán)境，結(jié)合探測(cè)結(jié)果分配爬蟲任務(wù)；步驟5：預(yù)測(cè)采集模型并設(shè)置爬蟲，采集數(shù)據(jù)。本發(fā)明實(shí)施例通過自建DNS系統(tǒng)結(jié)合網(wǎng)絡(luò)環(huán)境生成負(fù)荷分擔(dān)任務(wù)以及通過預(yù)測(cè)采集模型，解決了爬蟲采集能力差及需經(jīng)常修改配置參數(shù)問題，進(jìn)而提高了爬蟲的采集能力同時(shí)使爬蟲能自動(dòng)適應(yīng)目標(biāo)網(wǎng)站的配置項(xiàng)。