一種基于Hbase協(xié)處理器的大數(shù)據(jù)實時索引方法

基本信息

申請?zhí)?/td> CN201811081889.5 申請日 -
公開（公告）號 CN109471856A 公開（公告）日 2019-03-15
申請公布號 CN109471856A 申請公布日 2019-03-15
分類號 G06F16/22（2019.01）I; G06F16/24（2019.01）I; G06F16/2458（2019.01）N 分類 計算；推算；計數(shù);
發(fā)明人 朱靜軒; 吳問海; 章文友; 孟彥 申請（專利權(quán)）人 中新網(wǎng)絡(luò)信息安全股份有限公司
代理機構(gòu) 上海精晟知識產(chǎn)權(quán)代理有限公司 代理人 中新網(wǎng)絡(luò)信息安全股份有限公司
地址 230088 安徽省合肥市高新區(qū)創(chuàng)新大道2688號中新網(wǎng)安大廈
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及Hbase實時索引技術(shù)領(lǐng)域，具體涉及一種基于Hbase協(xié)處理器的大數(shù)據(jù)實時索引方法，包括對于需要索引的表，添加協(xié)處理器監(jiān)聽；針對Hbase中DDL、DML動作，定義相應(yīng)動作的KEY；編寫基于Hbase協(xié)處理器的動作監(jiān)聽代碼，以及將Hbase中操作的數(shù)據(jù)序列化發(fā)送到kafka。本發(fā)明通過對Hbase的DML、DDL動作進(jìn)行監(jiān)聽，及時感知到對hbase的表以及數(shù)據(jù)操作動作，對相應(yīng)動作進(jìn)行封裝，并發(fā)送到kafka消息隊列中，同時索引轉(zhuǎn)換器能夠?qū)τ趉afka中的數(shù)據(jù)以及相應(yīng)動作進(jìn)行相應(yīng)索引處理，將hbase的動作監(jiān)聽與數(shù)據(jù)索引寫入程序進(jìn)行解耦，避免數(shù)據(jù)讀取和寫入速度不一致，造成的資源等待占用資源的問題。