基于Kettle和GeoTools的空間大數(shù)據自動化并行處理方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN202010722208.X 申請日 -
公開(公告)號 CN112000312A 公開(公告)日 2020-11-27
申請公布號 CN112000312A 申請公布日 2020-11-27
分類號 G06F8/20(2018.01)I 分類 計算;推算;計數(shù);
發(fā)明人 李兵;郭明強;王波;曹威;張敏 申請(專利權)人 湖北地信科技集團股份有限公司
代理機構 武漢知產時代知識產權代理有限公司 代理人 湖北地信科技集團股份有限公司
地址 430000湖北省武漢市武漢東湖新技術開發(fā)區(qū)高新大道980號北斗大廈七層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Kettle和GeoTools的空間大數(shù)據自動化并行處理方法和系統(tǒng),方法包括以下步驟:通過Web客戶端制作空間數(shù)據處理流程圖;執(zhí)行流程圖相關參數(shù)配置,形成可解析的kettle文件;驗證kettle文件的有效性;保存kettle文件到數(shù)據庫資源庫;空間數(shù)據處理平臺從數(shù)據庫資源庫請求、解析kettle文件;基于GeoTools設計空間數(shù)據抽取、轉換、加載方法;自動化并行執(zhí)行空間數(shù)據處理流程;系統(tǒng)包括:客戶端,用于空間數(shù)據處理流程的配置、編輯、保存kettle文件;空間數(shù)據處理平臺,用于接收、解析kettle文件,按照客戶端設計的數(shù)據處理流程,將原始空間數(shù)據經過處理流轉到結果數(shù)據。本發(fā)明可以完成多種空間數(shù)據從抽取、轉換、清洗到加載的處理過程,便捷、耦合度低、效率高。??