一種分布式爬蟲(chóng)系統(tǒng)及其實(shí)現(xiàn)方法

基本信息

申請(qǐng)?zhí)?/td> CN201911095920.5 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN111061932A 公開(kāi)(公告)日 2020-04-24
申請(qǐng)公布號(hào) CN111061932A 申請(qǐng)公布日 2020-04-24
分類(lèi)號(hào) G06F16/951;G06F16/906;G06F16/9032 分類(lèi) 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 李亞萍;侯林勇;劉婉瑩;王俊;張亮;楊坤;方程;袁率 申請(qǐng)(專(zhuān)利權(quán))人 貴州小叮當(dāng)信息技術(shù)有限公司
代理機(jī)構(gòu) 重慶百潤(rùn)洪知識(shí)產(chǎn)權(quán)代理有限公司 代理人 貴州小叮當(dāng)信息技術(shù)有限公司
地址 550008 貴州省貴陽(yáng)市國(guó)家高新技術(shù)產(chǎn)業(yè)開(kāi)發(fā)區(qū)科技產(chǎn)業(yè)園標(biāo)準(zhǔn)廠(chǎng)房輔助用房B303室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種分布式爬蟲(chóng)系統(tǒng)及其實(shí)現(xiàn)方法,包括登錄窗口、日??臻g和工作空間,登錄窗口的輸出端分別與日??臻g和工作空間的輸入端連接,日??臻g和工作空間的輸出端分別與通用網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)和聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的輸入端連接,本發(fā)明涉及爬蟲(chóng)系統(tǒng)技術(shù)領(lǐng)域。該分布式爬蟲(chóng)系統(tǒng)及其實(shí)現(xiàn)方法,通過(guò)設(shè)置日??臻g和工作空間兩種模式,并設(shè)置通用網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)和聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)分別搭載在兩種模式上,日??臻g可正常檢索所有信息,而聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)可正對(duì)性的采集與工作相關(guān)的信息,兩種模式隨意切換,互不干擾,且聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)是依附于通用網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的主體結(jié)構(gòu)使用,只需將部分程序文件替換,則可實(shí)現(xiàn)兩種模式的切換。