一種爬蟲(chóng)系統(tǒng)及其方法

基本信息

申請(qǐng)?zhí)?/td> CN201410259561.3 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN104008190A 公開(kāi)（公告）日 2014-08-27
申請(qǐng)公布號(hào) CN104008190A 申請(qǐng)公布日 2014-08-27
分類(lèi)號(hào) G06F17/30(2006.01)I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 于權(quán) 申請(qǐng)（專(zhuān)利權(quán)）人 江蘇敏行信息技術(shù)有限公司
代理機(jī)構(gòu) 南京鐘山專(zhuān)利代理有限公司 代理人 戴朝榮
地址 210000 江蘇省南京市下關(guān)區(qū)和燕路63號(hào)二期1幢3層
法律狀態(tài) -

摘要

摘要 一種爬蟲(chóng)系統(tǒng)及其方法，包括帶有用于動(dòng)態(tài)網(wǎng)頁(yè)的爬蟲(chóng)系統(tǒng)的爬蟲(chóng)節(jié)點(diǎn)，爬蟲(chóng)節(jié)點(diǎn)同互聯(lián)網(wǎng)相連接，所述的互聯(lián)網(wǎng)中包含有網(wǎng)站服務(wù)器，所述的網(wǎng)站服務(wù)器中包含有帶有頻道的網(wǎng)站，所述的爬蟲(chóng)節(jié)點(diǎn)中還包括有瀏覽器、用于采集結(jié)果的數(shù)據(jù)庫(kù)和頻道庫(kù)，所述的網(wǎng)站服務(wù)器中還包含有頻道列表信息。這樣的結(jié)構(gòu)結(jié)合其方法避免了現(xiàn)有技術(shù)中無(wú)法通過(guò)訪問(wèn)時(shí)間的值來(lái)控制爬蟲(chóng)是否繼續(xù)爬取網(wǎng)頁(yè)內(nèi)容這樣就極大地限制了爬蟲(chóng)的使用效率的缺陷。