一種矢量要素并行計(jì)算方法、裝置、存儲(chǔ)介質(zhì)及終端

基本信息

申請?zhí)?/td> CN202010276951.7 申請日 -
公開(公告)號(hào) CN111563081A 公開(公告)日 2020-08-21
申請公布號(hào) CN111563081A 申請公布日 2020-08-21
分類號(hào) G06F16/22(2019.01)I 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 郭琳;裴志遠(yuǎn);許家俊;衛(wèi)煒;石智峰;陳曉迪;王玉鑫;邢雪;張寅;趙春梅;劉宇航;李曉辰 申請(專利權(quán))人 北京中農(nóng)信達(dá)信息技術(shù)有限公司
代理機(jī)構(gòu) 北京三聚陽光知識(shí)產(chǎn)權(quán)代理有限公司 代理人 張琳琳
地址 100125北京市朝陽區(qū)麥子店街41號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種矢量要素并行計(jì)算方法、裝置、存儲(chǔ)介質(zhì)及終端,該方法包括:根據(jù)Spark計(jì)算框架構(gòu)建分布式要素?cái)?shù)據(jù)集模型;根據(jù)分布式要素?cái)?shù)據(jù)集模型對(duì)外部數(shù)據(jù)進(jìn)行數(shù)據(jù)讀?。桓鶕?jù)讀取后的數(shù)據(jù)進(jìn)行數(shù)據(jù)重分區(qū);將四叉樹索引和二叉樹索引結(jié)合對(duì)重分區(qū)后的數(shù)據(jù)創(chuàng)建本地空間索引;對(duì)創(chuàng)建本地空間索引后的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理和分析。通過實(shí)施本發(fā)明,基于四叉樹索引和二叉樹索引結(jié)合使用的方式,為重分區(qū)后的數(shù)據(jù)創(chuàng)建本地空間索引,采用此種方式構(gòu)建的復(fù)合空間索引能夠極大的提高空間數(shù)據(jù)的疊加分析效率,解決了現(xiàn)有技術(shù)采用傳統(tǒng)矢量要素分析方法處理海量矢量要素時(shí)效率較低的技術(shù)問題。??