針對(duì)Clickhouse的全量和增量同步方法、設(shè)備和存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110243799.7 申請(qǐng)日 -
公開（公告）號(hào) CN112988916A 公開（公告）日 2021-06-18
申請(qǐng)公布號(hào) CN112988916A 申請(qǐng)公布日 2021-06-18
分類號(hào) G06F16/28;G06F16/21 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 鄧杰 申請(qǐng)（專利權(quán)）人 杭州天闕科技有限公司
代理機(jī)構(gòu) 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 代理人 付登云
地址 310000 浙江省杭州市西湖區(qū)學(xué)院路28-38號(hào)1幢1號(hào)樓1001室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體涉及一種針對(duì)Clickhouse的全量和增量同步方法、設(shè)備和存儲(chǔ)介質(zhì)。本申請(qǐng)?zhí)峁┑尼槍?duì)Clickhouse的全量和增量同步方法包括：實(shí)時(shí)捕獲原始數(shù)據(jù)的數(shù)據(jù)變化；將所述原始數(shù)據(jù)的數(shù)據(jù)變化轉(zhuǎn)化為刪除操作和插入操作；將所述刪除操作和插入操作提交到數(shù)據(jù)處理隊(duì)列；判斷所述數(shù)據(jù)處理隊(duì)列的當(dāng)前隊(duì)列的長(zhǎng)度和等待的時(shí)間間隔是否達(dá)到預(yù)設(shè)閾值；當(dāng)前隊(duì)列的長(zhǎng)度和等待的時(shí)間間隔中任一達(dá)到預(yù)設(shè)閾值時(shí)，基于所述數(shù)據(jù)處理隊(duì)列，提交同步任務(wù)至Clickhouse，以完成數(shù)據(jù)變化的同步。如此設(shè)置，本申請(qǐng)?zhí)峁┑姆桨钢校苊饬烁哳l的數(shù)據(jù)同步，數(shù)據(jù)變化操作轉(zhuǎn)換為刪除和插入兩個(gè)操作來解決Clickhouse對(duì)于修改操作支持不友好的問題。