一種分布式數(shù)據(jù)同步方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202111182181.0 申請日 -
公開（公告）號 CN113901141A 公開（公告）日 2022-01-07
申請公布號 CN113901141A 申請公布日 2022-01-07
分類號 G06F16/27（2019.01）I;G06F16/2455（2019.01）I;G06F9/48（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王濟平;黎剛;劉繼華;周健雄;湯克云;謝曉鋒 申請（專利權(quán)）人 京信數(shù)據(jù)科技有限公司
代理機構(gòu) 深圳余梅專利代理事務(wù)所（特殊普通合伙） 代理人 陳余才
地址 528400廣東省中山市東區(qū)中山五路57號7層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種分布式數(shù)據(jù)同步方法及系統(tǒng)。方法包括步驟：調(diào)度器向源數(shù)據(jù)庫查詢是否需要進行同步任務(wù)，并根據(jù)查詢結(jié)果彈性調(diào)整調(diào)度器查詢間隔時間；調(diào)度器選擇同步組件集群中的其中一個同步組件執(zhí)行任務(wù)；同步組件進行任務(wù)切分并采用多個并發(fā)線程處理；同步組件從源數(shù)據(jù)庫讀取同步數(shù)據(jù)集并進行數(shù)據(jù)處理；同步組件生成臨時唯一標(biāo)識替換同步數(shù)據(jù)集的原有唯一標(biāo)識，然后將同步數(shù)據(jù)集批量寫入目標(biāo)數(shù)據(jù)庫后刪除目標(biāo)數(shù)據(jù)庫中有更新的舊數(shù)據(jù)記錄，最后批量還原同步數(shù)據(jù)集的原有唯一標(biāo)識。本發(fā)明使得整個數(shù)據(jù)同步的性能得到極大提升。