一種Janusgraph數(shù)據(jù)快速批量裝載的方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202111267971.9 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN114138735A | 公開（公告）日 | 2022-03-04 |
| 申請(qǐng)公布號(hào) | CN114138735A | 申請(qǐng)公布日 | 2022-03-04 |
| 分類號(hào) | G06F16/182;G06F16/901 | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 馬杲靈;游飛龍;張林林;汪睿銘;陳雪;石堯;董博;廖海峰 | 申請(qǐng)（專利權(quán)）人 | 貴州數(shù)聯(lián)銘品科技有限公司 |
| 代理機(jī)構(gòu) | 北京市領(lǐng)專知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 王瑩瑩 |
| 地址 | 550002 貴州省貴陽市南明區(qū)龍洞堡電子商務(wù)港A棟2單元9層7號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種Janusgraph數(shù)據(jù)快速批量裝載的方法，包括步驟：數(shù)據(jù)準(zhǔn)備階段：將需要批量裝入圖的頂點(diǎn)和邊的數(shù)據(jù)保存到Hive表進(jìn)行分片存儲(chǔ)，以便于Spark計(jì)算引擎進(jìn)行并行讀取，并創(chuàng)建Janusgraph待裝載圖數(shù)據(jù)的Schema結(jié)構(gòu)，以及配置Hive表與Schema結(jié)構(gòu)的映射關(guān)系；HBase數(shù)據(jù)裝載階段：使用Spark計(jì)算引擎并行讀取Hive表中的頂點(diǎn)與邊，按照J(rèn)anusgraph在HBase數(shù)據(jù)庫中的存儲(chǔ)結(jié)構(gòu)與編碼方式構(gòu)建RDD數(shù)據(jù)集，并將RDD數(shù)據(jù)集以HFile文件形式裝載到Janusgraph存儲(chǔ)對(duì)應(yīng)的HBase數(shù)據(jù)庫中；Elasticsearch索引構(gòu)建階段：使用Spark計(jì)算引擎并行讀取Hive表中的頂點(diǎn)與邊，抽取需要索引的頂點(diǎn)或邊的屬性，按照J(rèn)anusgraph在Elasticsearch索引的存儲(chǔ)結(jié)構(gòu)構(gòu)建RDD數(shù)據(jù)集，并將RDD數(shù)據(jù)集并行寫入到Elasticsearch索引。 |
