網(wǎng)絡(luò)爬蟲系統(tǒng)

基本信息

申請?zhí)?/td> CN201210495699.4 申請日 -
公開（公告）號 CN103853717B 公開（公告）日 2018-10-12
申請公布號 CN103853717B 申請公布日 2018-10-12
分類號 G06F17/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉濤 申請（專利權(quán)）人 廈門新見福電子商務(wù)有限公司
代理機(jī)構(gòu) 上海弼興律師事務(wù)所 代理人 北京京東尚科信息技術(shù)有限公司;廈門新見福電子商務(wù)有限公司
地址 100195 北京市海淀區(qū)杏石口路65號西杉創(chuàng)意園四區(qū)11號樓東段1-4層西段1-4層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種網(wǎng)絡(luò)爬蟲，包括一內(nèi)核以及一Ajax抓取配置，該內(nèi)核以及該Ajax抓取配置均集成有htmlunit，該Ajax抓取配置用于指定一網(wǎng)頁的地址以及該網(wǎng)頁中的待抓取的數(shù)據(jù)，該內(nèi)核用于驅(qū)動搜索引擎，并基于該Ajax抓取配置提取該待抓取的數(shù)據(jù)。本發(fā)明能夠支持Ajax的執(zhí)行方式抓取網(wǎng)頁頁面的數(shù)據(jù)，并且支持異步請求的技術(shù)，可以使用JavaScript向服務(wù)器提出請求并處理響應(yīng)，而且不會阻塞用戶。