一種適用于批量爬取的數(shù)據(jù)采集方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201910404370.4 申請(qǐng)日 -
公開（公告）號(hào) CN110110182A 公開（公告）日 2019-08-09
申請(qǐng)公布號(hào) CN110110182A 申請(qǐng)公布日 2019-08-09
分類號(hào) G06F16/951;G06F16/953;G06F16/955 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳水平;伍千軍;文德;李鴻翼;付自政;胡蓓蓓;艾準(zhǔn);丁尚果;涂家偉 申請(qǐng)（專利權(quán)）人 八戒科技服務(wù)有限公司
代理機(jī)構(gòu) 北京酷愛智慧知識(shí)產(chǎn)權(quán)代理有限公司 代理人 八戒科技服務(wù)有限公司
地址 410000 湖南省長(zhǎng)沙市岳麓區(qū)麓云路金悅雅苑樓盤二期商業(yè)14棟A區(qū)房產(chǎn)1203-45
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種適用于批量爬取的數(shù)據(jù)采集方法及系統(tǒng)，所述方法包括:獲取原始鏈接和子鏈接；獲取所有鏈接對(duì)應(yīng)的網(wǎng)頁；解析所述網(wǎng)頁，采集網(wǎng)站數(shù)據(jù)。通過上述方案，無需用戶學(xué)習(xí)專業(yè)技術(shù)、配置規(guī)則，只需提供網(wǎng)站入口的種子網(wǎng)址，就可采集整個(gè)網(wǎng)站的內(nèi)容，實(shí)現(xiàn)智能化采集數(shù)據(jù)，便于用戶使用。