一種能識(shí)別網(wǎng)頁(yè)信息自動(dòng)采集的系統(tǒng)與方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201310128305.6 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN103218431A | 公開（公告）日 | 2013-07-24 |
| 申請(qǐng)公布號(hào) | CN103218431A | 申請(qǐng)公布日 | 2013-07-24 |
| 分類號(hào) | G06F17/30(2006.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 張煒;金軍;吳楊梓;江巖 | 申請(qǐng)（專利權(quán)）人 | 合肥智源慧生服務(wù)外包有限公司 |
| 代理機(jī)構(gòu) | - | 代理人 | - |
| 地址 | 230000 安徽省合肥市包河區(qū)金寨路96號(hào)本科08級(jí)1-9系 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種能識(shí)別網(wǎng)頁(yè)信息自動(dòng)采集的系統(tǒng)與方法，包括反采集分類器構(gòu)建模塊、自動(dòng)采集識(shí)別模塊和反采集在線處理模塊，反采集分類器構(gòu)建模塊主要用于使用計(jì)算機(jī)程序?qū)v史的web信息自動(dòng)采集和正常的網(wǎng)頁(yè)訪問行為進(jìn)行學(xué)習(xí)并區(qū)分，自動(dòng)采集識(shí)別模塊，通過運(yùn)用上述步驟中的反采集分類器，自動(dòng)識(shí)別出搜索引擎程序的自動(dòng)采集行為，并將識(shí)別出的采集程序所處的IP段加入黑名單。反采集在線處理模塊主要用于對(duì)訪問的用戶進(jìn)行自動(dòng)在線判定和處理。本發(fā)明克服了現(xiàn)有技術(shù)的不足，該系統(tǒng)通過分析網(wǎng)站的歷史網(wǎng)頁(yè)訪問行為，建立自動(dòng)采集分類器，識(shí)別出機(jī)器人的自動(dòng)采集，通過自動(dòng)機(jī)器人采集識(shí)別，實(shí)現(xiàn)網(wǎng)頁(yè)反抓取。 |
