基于數(shù)據(jù)庫(kù)日志并行實(shí)時(shí)增量統(tǒng)計(jì)的方法

基本信息

申請(qǐng)?zhí)?/td> CN202111220905.6 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN114153809A 公開(kāi)（公告）日 2022-03-08
申請(qǐng)公布號(hào) CN114153809A 申請(qǐng)公布日 2022-03-08
分類號(hào) G06F16/18;G06F16/22;G06F16/242;G06F16/2458;G06F16/27 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 馬杲靈;游飛龍;楊照能;石明恩;汪睿銘;杜華飛;宋贛源;石堯;孫青松 申請(qǐng)（專利權(quán)）人 貴州數(shù)聯(lián)銘品科技有限公司
代理機(jī)構(gòu) 北京市領(lǐng)專知識(shí)產(chǎn)權(quán)代理有限公司 代理人 羅慧
地址 550002 貴州省貴陽(yáng)市南明區(qū)龍洞堡電子商務(wù)港A棟2單元9層7號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行并行實(shí)時(shí)增量統(tǒng)計(jì)的方法，包括單機(jī)模式和分布式兩種情況，通過(guò)監(jiān)聽(tīng)業(yè)務(wù)數(shù)據(jù)庫(kù)的操作日志，將業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)增量同步到ClickHouse節(jié)點(diǎn)，對(duì)業(yè)務(wù)數(shù)據(jù)無(wú)侵入，借助ClickHouse節(jié)點(diǎn)數(shù)據(jù)同步表的增量統(tǒng)計(jì)功能進(jìn)行指標(biāo)數(shù)據(jù)實(shí)時(shí)統(tǒng)計(jì)，將業(yè)務(wù)數(shù)據(jù)庫(kù)的指標(biāo)數(shù)據(jù)計(jì)算壓力轉(zhuǎn)移到ClickHouse節(jié)點(diǎn)上，提高了指標(biāo)數(shù)據(jù)計(jì)算性能，實(shí)現(xiàn)了實(shí)時(shí)指標(biāo)數(shù)據(jù)高并發(fā)的亞秒級(jí)查詢，解決了頻繁更新的海量數(shù)據(jù)的指標(biāo)數(shù)據(jù)統(tǒng)計(jì)。