一種分布式爬蟲(chóng)系統(tǒng)及其實(shí)現(xiàn)方法
基本信息
申請(qǐng)?zhí)?/td> | CN201911095920.5 | 申請(qǐng)日 | - |
公開(kāi)(公告)號(hào) | CN111061932A | 公開(kāi)(公告)日 | 2020-04-24 |
申請(qǐng)公布號(hào) | CN111061932A | 申請(qǐng)公布日 | 2020-04-24 |
分類(lèi)號(hào) | G06F16/951;G06F16/906;G06F16/9032 | 分類(lèi) | 計(jì)算;推算;計(jì)數(shù); |
發(fā)明人 | 李亞萍;侯林勇;劉婉瑩;王俊;張亮;楊坤;方程;袁率 | 申請(qǐng)(專(zhuān)利權(quán))人 | 貴州小叮當(dāng)信息技術(shù)有限公司 |
代理機(jī)構(gòu) | 重慶百潤(rùn)洪知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 貴州小叮當(dāng)信息技術(shù)有限公司 |
地址 | 550008 貴州省貴陽(yáng)市國(guó)家高新技術(shù)產(chǎn)業(yè)開(kāi)發(fā)區(qū)科技產(chǎn)業(yè)園標(biāo)準(zhǔn)廠(chǎng)房輔助用房B303室 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明公開(kāi)了一種分布式爬蟲(chóng)系統(tǒng)及其實(shí)現(xiàn)方法,包括登錄窗口、日??臻g和工作空間,登錄窗口的輸出端分別與日??臻g和工作空間的輸入端連接,日??臻g和工作空間的輸出端分別與通用網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)和聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的輸入端連接,本發(fā)明涉及爬蟲(chóng)系統(tǒng)技術(shù)領(lǐng)域。該分布式爬蟲(chóng)系統(tǒng)及其實(shí)現(xiàn)方法,通過(guò)設(shè)置日??臻g和工作空間兩種模式,并設(shè)置通用網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)和聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)分別搭載在兩種模式上,日??臻g可正常檢索所有信息,而聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)可正對(duì)性的采集與工作相關(guān)的信息,兩種模式隨意切換,互不干擾,且聚焦網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)是依附于通用網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的主體結(jié)構(gòu)使用,只需將部分程序文件替換,則可實(shí)現(xiàn)兩種模式的切換。 |
