一種自動(dòng)化實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步的系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202110618313.3 申請(qǐng)日 -
公開（公告）號(hào) CN113468170A 公開（公告）日 2021-10-01
申請(qǐng)公布號(hào) CN113468170A 申請(qǐng)公布日 2021-10-01
分類號(hào) G06F16/22（2019.01）I;G06F16/23（2019.01）I;G06F16/27（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳曉陽(yáng) 申請(qǐng)（專利權(quán)）人 上海賽可出行科技服務(wù)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 200131上海市浦東新區(qū)自由貿(mào)易試驗(yàn)區(qū)楊高北路2001號(hào)1幢4部位三層333室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數(shù)據(jù)實(shí)時(shí)同步相關(guān)領(lǐng)域，具體為一種自動(dòng)化實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步的系統(tǒng)，包括Canal訂閱BinLog日志模塊、數(shù)據(jù)配置模塊、數(shù)據(jù)同步模塊和數(shù)據(jù)對(duì)賬模塊，本發(fā)明相比現(xiàn)有的同步的系統(tǒng)，有以下的優(yōu)點(diǎn)：只需要進(jìn)行基本的數(shù)據(jù)庫(kù)連接信息的配置和需要監(jiān)聽的Kafka Topic的配置，不需要進(jìn)行額外的任何配置；不需要進(jìn)行全量同步，進(jìn)行增量的同步，效率高；借助Kafka消息中間件的優(yōu)勢(shì)，體現(xiàn)在消息傳遞的速度快，這樣可以加快數(shù)據(jù)實(shí)時(shí)同步的效率；不需要借助數(shù)據(jù)庫(kù)的觸發(fā)器機(jī)制進(jìn)行同步，避免了id自增的限制；同步不需要借助時(shí)間戳方式，避免了臨時(shí)表的引入，因?yàn)槿绻硗降牧亢艽?，需要的臨時(shí)表也會(huì)增加，這樣需要的內(nèi)存空間也很大。