一種Storm分布式實(shí)時(shí)計(jì)算方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202111081856.2 申請日 -
公開（公告）號(hào) CN113821407A 公開（公告）日 2021-12-21
申請公布號(hào) CN113821407A 申請公布日 2021-12-21
分類號(hào) G06F11/30（2006.01）I;G06F16/11（2019.01）I;G06F16/17（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 高春林;雷云;李建東;靳珊;劉雪松 申請（專利權(quán)）人 浙江浙大網(wǎng)新軟件產(chǎn)業(yè)集團(tuán)有限公司
代理機(jī)構(gòu) 杭州君度專利代理事務(wù)所（特殊普通合伙） 代理人 楊天嬌
地址 310000浙江省杭州市濱江區(qū)長河街道江漢路1785號(hào)網(wǎng)新雙城大廈4幢2101-6室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種Storm分布式實(shí)時(shí)計(jì)算方法及系統(tǒng)，獲取數(shù)據(jù)庫日志，對數(shù)據(jù)庫日志進(jìn)行解析，獲取行級別的變更數(shù)據(jù)，并將獲取的變更數(shù)據(jù)按照統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)，將標(biāo)準(zhǔn)數(shù)據(jù)推送至消息中間件Kafka，將標(biāo)準(zhǔn)數(shù)據(jù)對應(yīng)的數(shù)據(jù)庫唯一標(biāo)識(shí)和變更數(shù)據(jù)在數(shù)據(jù)庫日志中的位置信息注冊到Kafka的zookeeper組件中。監(jiān)聽消息中間件Kafka，保存數(shù)據(jù)在Kafka中的偏移量，以備后續(xù)實(shí)時(shí)計(jì)算失敗時(shí)恢復(fù)到當(dāng)前狀態(tài)。本發(fā)明基于Storm的分布式實(shí)時(shí)計(jì)算提供了“精確一次”的數(shù)據(jù)可靠性保障，使得Storm可以應(yīng)用在計(jì)算準(zhǔn)確性要求高的場景下。