一種基于地理散列的空間分布式存儲優(yōu)化方法

基本信息

申請?zhí)?/td> CN202110429829.3 申請日 -
公開（公告）號 CN113093998A 公開（公告）日 2021-07-09
申請公布號 CN113093998A 申請公布日 2021-07-09
分類號 G06F3/06（2006.01）I;G06F16/13（2019.01）I;G06F16/14（2019.01）I;G06F16/182（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 馮文濤;朱與墨;孫偉;吳丹;田鵬飛 申請（專利權(quán)）人 億景智聯(lián)（北京）科技有限公司
代理機(jī)構(gòu) 南京鼎傲知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 劉藹民
地址 100085北京市海淀區(qū)上地信息產(chǎn)業(yè)基地創(chuàng)業(yè)路6號3層3015
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于地理散列的空間分布式存儲優(yōu)化方法，包括如下步驟：S1、使用構(gòu)建無序地理哈希散列來構(gòu)建rowkey；S2、依據(jù)hash關(guān)系與原有數(shù)據(jù)進(jìn)行歸屬關(guān)聯(lián)構(gòu)建，將原有空間數(shù)據(jù)進(jìn)行地理映射，利用映射散列的地理區(qū)域切分，運(yùn)用已切分地理散列區(qū)域構(gòu)建region預(yù)分區(qū)，使hbase中節(jié)點(diǎn)負(fù)載均勻；本發(fā)明集成大數(shù)據(jù)空間存儲技術(shù)與地理編碼技術(shù)，通過地理散列與hbase預(yù)分區(qū)方案，二者相結(jié)合，完美構(gòu)建空間大數(shù)據(jù)存儲方案，依據(jù)預(yù)生成的region，提升hbase數(shù)倉的吞吐效率，再配合地理散列，使寫入數(shù)據(jù)都能按規(guī)劃地理區(qū)間均勻命中這些預(yù)建region，極大程度上避免了以上眾多缺點(diǎn)，使存儲查詢性能大大提升。