一種基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)處理方法、系統(tǒng)及云平臺

基本信息

申請?zhí)?/td> CN202011618649.1 申請日 -
公開（公告）號 CN112380418B 公開（公告）日 2021-07-16
申請公布號 CN112380418B 申請公布日 2021-07-16
分類號 G06F16/951;G06F16/27 分類 計算；推算；計數(shù);
發(fā)明人 詹能勇;劉振宇 申請（專利權(quán)）人 廣州智云尚大數(shù)據(jù)科技有限公司
代理機構(gòu) 北京聯(lián)瑞聯(lián)豐知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 黃冠華
地址 510700 廣東省廣州市天河區(qū)粵墾路68號901（部位901-1室）（僅限辦公）
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及互聯(lián)網(wǎng)與數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)處理方法、系統(tǒng)及云平臺。本發(fā)明通過獲取用戶輸入的網(wǎng)頁爬蟲指令，網(wǎng)頁爬蟲指令包括目標網(wǎng)頁信息和爬取對象集合，然后獲取與目標網(wǎng)頁信息和爬取對象集合對應(yīng)的目標爬蟲數(shù)據(jù)，并將目標爬蟲數(shù)據(jù)保存至目標分布式保存節(jié)點中，其中，目標分布式保存節(jié)點是分布式存儲系統(tǒng)中與網(wǎng)頁對象集合對應(yīng)的保存節(jié)點；相比于現(xiàn)有技術(shù)，本發(fā)明能夠提升大規(guī)模數(shù)據(jù)爬取時爬蟲數(shù)據(jù)保存的可靠性，并通過針對當前網(wǎng)頁內(nèi)容數(shù)據(jù)和歷史網(wǎng)頁內(nèi)容數(shù)據(jù)進行爬取，能夠充分的爬取用戶所需的數(shù)據(jù)，提高數(shù)據(jù)爬取的完整性。