基于分布式網(wǎng)絡(luò)爬蟲(chóng)的地理空間數(shù)據(jù)獲取系統(tǒng)及方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110640002.7 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN113254747B | 公開(kāi)（公告）日 | 2021-10-15 |
| 申請(qǐng)公布號(hào) | CN113254747B | 申請(qǐng)公布日 | 2021-10-15 |
| 分類(lèi)號(hào) | G06F16/951（2019.01）I;G06F16/9537（2019.01）I;G06F16/29（2019.01）I;G06F16/25（2019.01）I;G06F9/50（2006.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 杜志強(qiáng);咼維 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 南京北斗創(chuàng)新應(yīng)用科技研究院有限公司 |
| 代理機(jī)構(gòu) | 南京創(chuàng)略知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 閆方圓 |
| 地址 | 210000江蘇省南京市六合區(qū)龍池街道虎躍東路8號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種基于分布式網(wǎng)絡(luò)爬蟲(chóng)的地理空間數(shù)據(jù)獲取系統(tǒng)及方法，系統(tǒng)包括用戶需求發(fā)布模塊、調(diào)度引擎服務(wù)模塊、可執(zhí)行爬蟲(chóng)程序集模塊、HTCondor集群模塊和分布式爬蟲(chóng)數(shù)據(jù)庫(kù)模塊，通過(guò)網(wǎng)絡(luò)爬蟲(chóng)的方式進(jìn)行互聯(lián)網(wǎng)空間信息采集，抽取出目標(biāo)數(shù)據(jù)及時(shí)存入數(shù)據(jù)庫(kù)中，可以為對(duì)泛在地理空間數(shù)據(jù)進(jìn)行進(jìn)一步的管理使用提供了數(shù)據(jù)基礎(chǔ)。清楚各種來(lái)源數(shù)據(jù)的特點(diǎn)和共同之處。通過(guò)歸類(lèi)總結(jié)不同類(lèi)型數(shù)據(jù)、不同來(lái)源數(shù)據(jù)的獲取方法，針對(duì)重要的泛在地理空間數(shù)據(jù)源設(shè)計(jì)定制化的數(shù)據(jù)獲取應(yīng)用，并將其融合到分布式爬蟲(chóng)框架中進(jìn)行綜合調(diào)度管理，可以實(shí)現(xiàn)良好的泛在數(shù)據(jù)獲取效果。 |
