一種數(shù)據(jù)庫數(shù)據(jù)同步方法

基本信息

申請?zhí)?/td> CN202210483305.7 申請日 -
公開（公告）號 CN114579668A 公開（公告）日 2022-06-03
申請公布號 CN114579668A 申請公布日 2022-06-03
分類號 G06F16/27;G06F16/22;G06F16/25 分類 計算；推算；計數(shù);
發(fā)明人 蔣松柏;范金龍 申請（專利權）人 中建電子商務有限責任公司
代理機構 成都春夏知識產(chǎn)權代理事務所（特殊普通合伙） 代理人 夏琴
地址 610000 四川省成都市青羊區(qū)騰飛大道51號18棟12層1202號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數(shù)據(jù)處理技術領域，公開了一種數(shù)據(jù)庫數(shù)據(jù)同步方法，該方法包括：訂閱關系型數(shù)據(jù)庫管理系統(tǒng)中需要同步到ES的一個或多個表，針對每個同步任務建立轉(zhuǎn)換映射配置；獲取同步任務的主表，以表的主鍵值為輸入?yún)?shù)、全量數(shù)據(jù)為輸出參數(shù)定義接口結(jié)構，建立主表全量接口；數(shù)據(jù)同步時，收到KafKa變更的消息數(shù)據(jù)，再把消息數(shù)據(jù)轉(zhuǎn)換成哈希映射結(jié)構的第一映射數(shù)據(jù)；取第一映射數(shù)據(jù)中表的主鍵值，遠程調(diào)用主表全量接口獲取全量數(shù)據(jù)，將全量數(shù)據(jù)轉(zhuǎn)換成哈希映射結(jié)構并賦值給第一映射數(shù)據(jù)，獲取第二映射數(shù)據(jù)；基于轉(zhuǎn)換映射配置中的映射結(jié)構，將第二映射數(shù)據(jù)轉(zhuǎn)換成ES的模型數(shù)據(jù)。本發(fā)明可以重復、有效進行ES同步任務，減少重復開發(fā)工作量。