一種從kafka向數(shù)據(jù)庫同步數(shù)據(jù)的方法

基本信息

申請?zhí)?/td> CN202111584288.8 申請日 -
公開（公告）號 CN114357068A 公開（公告）日 2022-04-15
申請公布號 CN114357068A 申請公布日 2022-04-15
分類號 G06F16/27（2019.01）I;G06F16/2455（2019.01）I;G06F16/2453（2019.01）I;G06F16/242（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 趙偉;姜驍 申請（專利權(quán)）人 天津南大通用數(shù)據(jù)技術(shù)股份有限公司
代理機構(gòu) 天津企興智財知識產(chǎn)權(quán)代理有限公司 代理人 薛萌萌
地址 300384天津市濱海新區(qū)華苑產(chǎn)業(yè)區(qū)海泰發(fā)展六道6號海泰綠色產(chǎn)業(yè)基地J座
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種從kafka向數(shù)據(jù)庫同步數(shù)據(jù)的方法，包括：S1、從數(shù)據(jù)庫查詢進度表得到原始數(shù)據(jù)對應(yīng)的消費進度；S2、根據(jù)消費進度從kafka中讀取數(shù)據(jù)，并對讀取的數(shù)據(jù)進行解析；S3、數(shù)據(jù)解析后，判斷數(shù)據(jù)的操作類型，對不同操作類型的數(shù)據(jù)進行攢批操作，構(gòu)造sql語句；S4、在數(shù)據(jù)庫中執(zhí)行sql語句，向進度表寫入消費進度，并判斷數(shù)據(jù)庫執(zhí)行結(jié)果是否正確；若數(shù)據(jù)庫執(zhí)行結(jié)果正確，則數(shù)據(jù)庫執(zhí)行提交操作；若數(shù)據(jù)庫執(zhí)行結(jié)果錯誤，數(shù)據(jù)庫執(zhí)行回滾操作，循環(huán)至步驟S2。本發(fā)明在用戶對數(shù)據(jù)庫有并發(fā)查詢業(yè)務(wù)時，通過攢批集中處理，保證了用戶正常業(yè)務(wù)使用計算資源，保證了數(shù)據(jù)的高同步性，同時在保證了數(shù)據(jù)結(jié)果的準確性，也保持較高的數(shù)據(jù)處理速度。