基于分布式網(wǎng)絡(luò)爬蟲的地理空間數(shù)據(jù)獲取系統(tǒng)及方法

基本信息

申請?zhí)?/td> CN202110640002.7 申請日 -
公開（公告）號 CN113254747B 公開（公告）日 2021-10-15
申請公布號 CN113254747B 申請公布日 2021-10-15
分類號 G06F16/951（2019.01）I;G06F16/9537（2019.01）I;G06F16/29（2019.01）I;G06F16/25（2019.01）I;G06F9/50（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 杜志強;咼維 申請（專利權(quán)）人 南京北斗創(chuàng)新應用科技研究院有限公司
代理機構(gòu) 南京創(chuàng)略知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 閆方圓
地址 210000江蘇省南京市六合區(qū)龍池街道虎躍東路8號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于分布式網(wǎng)絡(luò)爬蟲的地理空間數(shù)據(jù)獲取系統(tǒng)及方法，系統(tǒng)包括用戶需求發(fā)布模塊、調(diào)度引擎服務(wù)模塊、可執(zhí)行爬蟲程序集模塊、HTCondor集群模塊和分布式爬蟲數(shù)據(jù)庫模塊，通過網(wǎng)絡(luò)爬蟲的方式進行互聯(lián)網(wǎng)空間信息采集，抽取出目標數(shù)據(jù)及時存入數(shù)據(jù)庫中，可以為對泛在地理空間數(shù)據(jù)進行進一步的管理使用提供了數(shù)據(jù)基礎(chǔ)。清楚各種來源數(shù)據(jù)的特點和共同之處。通過歸類總結(jié)不同類型數(shù)據(jù)、不同來源數(shù)據(jù)的獲取方法，針對重要的泛在地理空間數(shù)據(jù)源設(shè)計定制化的數(shù)據(jù)獲取應用，并將其融合到分布式爬蟲框架中進行綜合調(diào)度管理，可以實現(xiàn)良好的泛在數(shù)據(jù)獲取效果。