一種基于flume系統(tǒng)的快速數(shù)據(jù)處理方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202111438260.3 申請(qǐng)日 -
公開(公告)號(hào) CN114090563A 公開(公告)日 2022-02-25
申請(qǐng)公布號(hào) CN114090563A 申請(qǐng)公布日 2022-02-25
分類號(hào) G06F16/215(2019.01)I;G06F16/2457(2019.01)I;G06F16/2458(2019.01)I;G06F9/54(2006.01)I 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 徐浩;李耀;田駿;石龍;宋圣杰 申請(qǐng)(專利權(quán))人 武漢眾邦銀行股份有限公司
代理機(jī)構(gòu) 成都正煜知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 徐金瓊
地址 432200湖北省武漢市黃陂區(qū)盤龍城經(jīng)濟(jì)開發(fā)區(qū)漢口北大道88號(hào)漢口北國際商品交易中心D2區(qū)1-2層、22-23層
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及信息技術(shù)領(lǐng)域,提供了一種基于flume系統(tǒng)的快速數(shù)據(jù)處理方法及裝置,目的在于解決Flume系統(tǒng)附在生產(chǎn)機(jī)器上,而攔截器的清洗工作會(huì)占用生產(chǎn)機(jī)器的資源,對(duì)生產(chǎn)機(jī)器造成負(fù)擔(dān)的問題。主要方案包括flume的source層采集原始數(shù)據(jù),并將采集到的原始數(shù)據(jù)實(shí)時(shí)發(fā)送到分布式消息中間件模塊的數(shù)據(jù)采集隊(duì)列中;分布式數(shù)據(jù)處理模塊實(shí)時(shí)消費(fèi)分布式消息中間件模塊的采集隊(duì)列中的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗處理;分布式數(shù)據(jù)處理模塊將處理好的數(shù)據(jù)實(shí)時(shí)發(fā)送到分布式消息中間件模塊的結(jié)果消息隊(duì)列;flume的Sink層從分布式消息中間件模塊的結(jié)果消息隊(duì)列中獲取已處理好的數(shù)據(jù)發(fā)送給接收方。