針對Clickhouse的全量和增量同步方法、設(shè)備和存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110243799.7 申請日 -
公開（公告）號 CN112988916A 公開（公告）日 2021-06-18
申請公布號 CN112988916A 申請公布日 2021-06-18
分類號 G06F16/28;G06F16/21 分類 計算；推算；計數(shù);
發(fā)明人 鄧杰 申請（專利權(quán)）人 杭州天闕科技有限公司
代理機構(gòu) 北京細(xì)軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 代理人 付登云
地址 310000 浙江省杭州市西湖區(qū)學(xué)院路28-38號1幢1號樓1001室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體涉及一種針對Clickhouse的全量和增量同步方法、設(shè)備和存儲介質(zhì)。本申請?zhí)峁┑尼槍lickhouse的全量和增量同步方法包括：實時捕獲原始數(shù)據(jù)的數(shù)據(jù)變化；將所述原始數(shù)據(jù)的數(shù)據(jù)變化轉(zhuǎn)化為刪除操作和插入操作；將所述刪除操作和插入操作提交到數(shù)據(jù)處理隊列；判斷所述數(shù)據(jù)處理隊列的當(dāng)前隊列的長度和等待的時間間隔是否達(dá)到預(yù)設(shè)閾值；當(dāng)前隊列的長度和等待的時間間隔中任一達(dá)到預(yù)設(shè)閾值時，基于所述數(shù)據(jù)處理隊列，提交同步任務(wù)至Clickhouse，以完成數(shù)據(jù)變化的同步。如此設(shè)置，本申請?zhí)峁┑姆桨钢?，避免了高頻的數(shù)據(jù)同步，數(shù)據(jù)變化操作轉(zhuǎn)換為刪除和插入兩個操作來解決Clickhouse對于修改操作支持不友好的問題。