基于Storm的實(shí)時(shí)數(shù)據(jù)比對(duì)預(yù)警方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201810803452.1 申請(qǐng)日 -
公開（公告）號(hào) CN110750562A 公開（公告）日 2020-02-04
申請(qǐng)公布號(hào) CN110750562A 申請(qǐng)公布日 2020-02-04
分類號(hào) G06F16/2455;G06F16/2458;G06F16/28;G06F16/25 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李巍;柳慶;張舟 申請(qǐng)（專利權(quán)）人 武漢烽火眾智智慧之星科技有限公司
代理機(jī)構(gòu) 北京匯澤知識(shí)產(chǎn)權(quán)代理有限公司 代理人 程殿軍
地址 430035 湖北省武漢市硚口區(qū)長豐鄉(xiāng)長升路10號(hào)4號(hào)樓401室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于Storm的實(shí)時(shí)數(shù)據(jù)比對(duì)預(yù)警方法及系統(tǒng)，該方法包括以下步驟：S1、將來自多種數(shù)據(jù)源的實(shí)時(shí)多維數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和標(biāo)準(zhǔn)化后，以json數(shù)據(jù)格式按不同數(shù)據(jù)源分主題發(fā)送至分布式Kafka消息隊(duì)列；S2、將數(shù)據(jù)比對(duì)規(guī)則存儲(chǔ)在RDBMS；S3、從RDBMS加載比對(duì)規(guī)則到內(nèi)存，利用Storm集群技術(shù)，將Kafka集群中的實(shí)時(shí)多維數(shù)據(jù)與內(nèi)存中的比對(duì)規(guī)則進(jìn)行比對(duì)碰撞，并新建Kafka主題存放實(shí)時(shí)比對(duì)的預(yù)警結(jié)果；S4、消費(fèi)Kafka預(yù)警結(jié)果主題，將結(jié)果寫入RDBMS，通過查詢接口接收查詢請(qǐng)求，進(jìn)行預(yù)警展示。本發(fā)明不受數(shù)據(jù)源的限制，適用于不同來源的實(shí)時(shí)數(shù)據(jù)接入；提高了系統(tǒng)穩(wěn)定性；提升整個(gè)業(yè)務(wù)場景下數(shù)據(jù)處理的性能，保證實(shí)時(shí)數(shù)據(jù)的低延遲比對(duì)預(yù)警。