一種多源數(shù)據(jù)實時聚合方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN202111264739.X 申請日 -
公開（公告）號 CN114003628A 公開（公告）日 2022-02-01
申請公布號 CN114003628A 申請公布日 2022-02-01
分類號 G06F16/2455（2019.01）I;G06F16/242（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 洪志權(quán);蔡昆穎;于崇剛;余彩福 申請（專利權(quán)）人 粵港澳國際供應(yīng)鏈（廣州）有限公司
代理機構(gòu) 廣東翰銳律師事務(wù)所 代理人 胡厚財
地址 510000廣東省廣州市南沙區(qū)港榮一街3號401-1房（僅限辦公）
法律狀態(tài) -

摘要

摘要 本申請實施例公開了一種多源數(shù)據(jù)實時聚合方法和系統(tǒng)，其中方法包括：一種多源數(shù)據(jù)實時聚合方法，通過獲取canal服務(wù)端從若干個來源庫中批量獲取指定數(shù)據(jù)庫的binlog對象；對binlog對象進行批量處理：檢查binlog對象的實體類型是否為結(jié)構(gòu)變更類型，若是，則從binlog對象中獲取原執(zhí)行SQL，去掉庫名并生成聚合庫可執(zhí)行SQL檢查binlog對象的數(shù)據(jù)變更類型，并根據(jù)數(shù)據(jù)變更類型生成數(shù)據(jù)變更標準SQL；對binlog對象批量處理完畢后，將可執(zhí)行SQL和/或標準SQL發(fā)送至聚合庫，繼而實現(xiàn)從N個來源庫實時匯聚到聚合庫，實現(xiàn)實時高效的多源數(shù)據(jù)聚合的目的。