一種實(shí)現(xiàn)Hbase二級(jí)索引的方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010772018.9 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111984756A | 公開(kāi)（公告）日 | 2020-11-24 |
| 申請(qǐng)公布號(hào) | CN111984756A | 申請(qǐng)公布日 | 2020-11-24 |
| 分類(lèi)號(hào) | G06F16/31(2019.01)I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 母延年;于昆鵬;陳雨;孫國(guó)良 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 南京好魚(yú)科技有限公司 |
| 代理機(jī)構(gòu) | - | 代理人 | - |
| 地址 | 210000江蘇省南京市江寧區(qū)董村路39號(hào)2幢天琪科技大廈706室(江寧開(kāi)發(fā)區(qū)) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及大數(shù)據(jù)查詢處理技術(shù)領(lǐng)域，具體公開(kāi)了一種實(shí)現(xiàn)Hbase二級(jí)索引的方法，包括如下步驟，S1：Hbase store中進(jìn)行擴(kuò)展，在原先存儲(chǔ)結(jié)構(gòu)的基礎(chǔ)上擴(kuò)展一層lucene索引，lucene索引與MemStore和StoreFile位于同一個(gè)進(jìn)程內(nèi)，不需要跨進(jìn)程交互；S2：將lucene作為對(duì)Hfile的補(bǔ)充，與Hbase上層寫(xiě)入對(duì)接，寫(xiě)入Hfile或MemStore的同時(shí)也會(huì)將數(shù)據(jù)寫(xiě)入到lucene，且lucene索引也會(huì)隨著store的邏輯進(jìn)行合并或拆分操作；S3：lucene的存儲(chǔ)與Hfile一樣，基于HDFS存儲(chǔ)，存儲(chǔ)規(guī)則與HDFS相同，基于表名，列簇，regin分散在不同的HDFS目錄上；S4：查詢時(shí)，結(jié)合scan根據(jù)不同的查詢，自動(dòng)適配查詢，原有的邏輯轉(zhuǎn)發(fā)到lucene之上，借助lucene實(shí)現(xiàn)Hbase二級(jí)索引的功能；本發(fā)明補(bǔ)足了Hbase只能做KV查詢的局限性，使得Hbase既有KV查詢性能，又有l(wèi)ucene全文檢索、多維篩選的特性。?? |
