數(shù)據(jù)實(shí)時(shí)同步方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110371580.5 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN113010608A | 公開(kāi)（公告）日 | 2021-06-22 |
| 申請(qǐng)公布號(hào) | CN113010608A | 申請(qǐng)公布日 | 2021-06-22 |
| 分類(lèi)號(hào) | G06F16/27;G06F16/23;G06F16/25 | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 俞舒;沈鵠;張聰;耿志振;江海洋 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 億企贏網(wǎng)絡(luò)科技有限公司 |
| 代理機(jī)構(gòu) | 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 溫可睿 |
| 地址 | 200131 上海市浦東新區(qū)自由貿(mào)易試驗(yàn)區(qū)祥科路268號(hào)708室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本申請(qǐng)公開(kāi)了一種數(shù)據(jù)實(shí)時(shí)同步方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。其中，方法應(yīng)用于Flink分布式框架，根據(jù)源數(shù)據(jù)庫(kù)和ClickHouse的配置信息、實(shí)時(shí)同步任務(wù)控制信息從Binlog中讀取待處理數(shù)據(jù)；根據(jù)待處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作類(lèi)型為數(shù)據(jù)插入操作、數(shù)據(jù)刪除操作還是數(shù)據(jù)更新操作來(lái)采用相匹配的數(shù)據(jù)插入操作方式將待處理數(shù)據(jù)寫(xiě)入至內(nèi)存中。當(dāng)目的數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入操作被觸發(fā)后，將內(nèi)存中的數(shù)據(jù)加載至ClickHouse中。本申請(qǐng)可解決相關(guān)技術(shù)長(zhǎng)時(shí)間處理極易出現(xiàn)數(shù)據(jù)同步不一致的現(xiàn)象，有效提升數(shù)據(jù)同步的實(shí)時(shí)性能，滿(mǎn)足高性能的實(shí)時(shí)同步需求。 |
