基于MongoDB元數(shù)據(jù)管理的異構(gòu)數(shù)據(jù)源同步的方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010616235.9 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111737355A | 公開(kāi)（公告）日 | 2020-10-02 |
| 申請(qǐng)公布號(hào) | CN111737355A | 申請(qǐng)公布日 | 2020-10-02 |
| 分類(lèi)號(hào) | G06F16/27(2019.01)I | 分類(lèi) | - |
| 發(fā)明人 | 達(dá)星宇;吳明杰;李曉峰;吳智良;李奇;江魁棟 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 廣東粵財(cái)金融云科技股份有限公司 |
| 代理機(jī)構(gòu) | 廣州云領(lǐng)專(zhuān)利代理事務(wù)所（普通合伙） | 代理人 | 廣東粵財(cái)金融云科技股份有限公司 |
| 地址 | 519000廣東省珠海市香洲區(qū)橫琴新區(qū)寶華路6號(hào)105室-15178 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種基于MongoDB元數(shù)據(jù)管理的異構(gòu)數(shù)據(jù)源同步的方法，包括：S1、掃描MySQL源數(shù)據(jù)端待同步表結(jié)構(gòu)，初始化源端數(shù)據(jù)表的元數(shù)據(jù)信息；S2、基于掃描結(jié)果，在MongoDB數(shù)據(jù)庫(kù)中構(gòu)建一個(gè)通用的數(shù)據(jù)庫(kù)元數(shù)據(jù)模型；S3、對(duì)MySQL數(shù)據(jù)庫(kù)的binlog操作日志進(jìn)行監(jiān)聽(tīng)，解析操作日志后對(duì)數(shù)據(jù)操作行為進(jìn)行區(qū)分，并進(jìn)行后續(xù)處理；S4、獲取分布式消息隊(duì)列中待消費(fèi)的數(shù)據(jù)變更信息；S5、根據(jù)數(shù)據(jù)變更信息，獲取其涉及在MongoDB的元數(shù)據(jù)最新版本信息：S6、根據(jù)MongoDB元數(shù)據(jù)信息和消息隊(duì)列數(shù)據(jù)，實(shí)時(shí)轉(zhuǎn)換構(gòu)造Kudu的DML變更數(shù)據(jù)，并執(zhí)行Kudu數(shù)據(jù)更新。本發(fā)明實(shí)現(xiàn)了關(guān)系型數(shù)據(jù)庫(kù)MySQL與分布式列式數(shù)據(jù)庫(kù)Kudu之間的數(shù)據(jù)實(shí)時(shí)同步問(wèn)題，支持DML和DDL的數(shù)據(jù)操作變更，可維護(hù)不同歷史版本的元數(shù)據(jù)結(jié)構(gòu)信息。?? |
