基于模板標注的分布式爬蟲方法、裝置、計算機裝置及計算機可讀存儲介質

基本信息

申請?zhí)?/td> CN202110813832.5 申請日 -
公開（公告）號 CN113434748A 公開（公告）日 2021-09-24
申請公布號 CN113434748A 申請公布日 2021-09-24
分類號 G06F16/951（2019.01）I;G06F16/953（2019.01）I;G06F16/955（2019.01）I;G06F16/958（2019.01）I;G06F40/186（2020.01）I 分類 計算；推算；計數(shù);
發(fā)明人 何子洋;黃九鳴;林鵬;曾琰 申請（專利權）人 湖南四方天箭信息科技有限公司
代理機構 湖南兆弘專利事務所（普通合伙） 代理人 胡君
地址 410000湖南省長沙市高新開發(fā)區(qū)岳麓西大道588號芯城科技園8棟1301房
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于模板標注的分布式爬蟲方法、裝置、計算機裝置及計算機可讀存儲介質，該方法包括：標注目標網(wǎng)頁所需抽取的信息項，分別為每個信息項獲取兩個以上的抽取信息樣例；分別根據(jù)獲取的取信息樣例為標注的每個信息項生成對應的信息抽取通式；根據(jù)各信息項對應的信息抽取通式以及所需的網(wǎng)頁信息生成信息抽取模板；當接收到爬蟲任務時，讀取信息抽取模板進行信息抽取。本發(fā)明能夠實現(xiàn)分布式的網(wǎng)頁信息抽取，具有實現(xiàn)操作方法簡單、爬蟲效率以及精度高、通用性及穩(wěn)定性好等優(yōu)點。