網(wǎng)絡(luò)爬蟲系統(tǒng)及方法

基本信息

申請?zhí)?/td> CN201910017134.7 申請日 -
公開（公告）號 CN109783715A 公開（公告）日 2019-05-21
申請公布號 CN109783715A 申請公布日 2019-05-21
分類號 G06F16/951（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 郭星星 申請（專利權(quán)）人 鑫涌算力信息科技（上海）有限公司
代理機構(gòu) 上海翰信知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 鑫涌算力信息科技（上海）有限公司
地址 200090 上海市楊浦區(qū)黃興路2218號第28層2808室
法律狀態(tài) -

摘要

摘要 本公開提供了一種網(wǎng)絡(luò)爬蟲系統(tǒng)及方法，所述網(wǎng)絡(luò)爬蟲系統(tǒng)可以在用戶授權(quán)的情況下自動抓取網(wǎng)絡(luò)特定信息，所述用戶交互模塊獲取了用戶授權(quán)信息之后用把相關(guān)的授權(quán)信息提交到調(diào)度處理模塊，由調(diào)度模塊處理抓取相應(yīng)的規(guī)則，解決了普通網(wǎng)絡(luò)爬蟲無法對于特定私有信息的自動化獲取。同時，所述網(wǎng)絡(luò)爬蟲系統(tǒng)使用消息隊列，作為中間件，來實現(xiàn)異步解耦，所述網(wǎng)絡(luò)爬蟲系統(tǒng)采用異步的請求方式來處理任務(wù)，系統(tǒng)結(jié)構(gòu)易于拓展，各層連接通過消息隊列來處理，使爬蟲任務(wù)有了下發(fā)式，避免了重復(fù)任務(wù)的情況，增加了系統(tǒng)的穩(wěn)定性，大大提高了用戶響應(yīng)時間，充分利用了系統(tǒng)資源，提高了系統(tǒng)的并發(fā)量，系統(tǒng)利用率大大提升。