一種爬蟲系統(tǒng)及其方法

基本信息

申請?zhí)?/td> CN201410259561.3 申請日 -
公開（公告）號 CN104008190B 公開（公告）日 2017-04-19
申請公布號 CN104008190B 申請公布日 2017-04-19
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 于權(quán) 申請（專利權(quán)）人 江蘇敏行信息技術(shù)有限公司
代理機構(gòu) 南京鐘山專利代理有限公司 代理人 戴朝榮
地址 210012 江蘇省南京市雨花臺區(qū)西春路1號北樓802室
法律狀態(tài) -

摘要

摘要 一種爬蟲系統(tǒng)及其方法，包括帶有用于動態(tài)網(wǎng)頁的爬蟲系統(tǒng)的爬蟲節(jié)點，爬蟲節(jié)點同互聯(lián)網(wǎng)相連接，所述的互聯(lián)網(wǎng)中包含有網(wǎng)站服務(wù)器，所述的網(wǎng)站服務(wù)器中包含有帶有頻道的網(wǎng)站，所述的爬蟲節(jié)點中還包括有瀏覽器、用于采集結(jié)果的數(shù)據(jù)庫和頻道庫，所述的網(wǎng)站服務(wù)器中還包含有頻道列表信息。這樣的結(jié)構(gòu)結(jié)合其方法避免了現(xiàn)有技術(shù)中無法通過訪問時間的值來控制爬蟲是否繼續(xù)爬取網(wǎng)頁內(nèi)容這樣就極大地限制了爬蟲的使用效率的缺陷。