一種基于flume系統(tǒng)的快速數(shù)據(jù)處理方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN202111438260.3 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN114090563A | 公開（公告）日 | 2022-02-25 |
| 申請(qǐng)公布號(hào) | CN114090563A | 申請(qǐng)公布日 | 2022-02-25 |
| 分類號(hào) | G06F16/215（2019.01）I;G06F16/2457（2019.01）I;G06F16/2458（2019.01）I;G06F9/54（2006.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 徐浩;李耀;田駿;石龍;宋圣杰 | 申請(qǐng)（專利權(quán)）人 | 武漢眾邦銀行股份有限公司 |
| 代理機(jī)構(gòu) | 成都正煜知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 徐金瓊 |
| 地址 | 432200湖北省武漢市黃陂區(qū)盤龍城經(jīng)濟(jì)開發(fā)區(qū)漢口北大道88號(hào)漢口北國際商品交易中心D2區(qū)1-2層、22-23層 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及信息技術(shù)領(lǐng)域，提供了一種基于flume系統(tǒng)的快速數(shù)據(jù)處理方法及裝置，目的在于解決Flume系統(tǒng)附在生產(chǎn)機(jī)器上，而攔截器的清洗工作會(huì)占用生產(chǎn)機(jī)器的資源，對(duì)生產(chǎn)機(jī)器造成負(fù)擔(dān)的問題。主要方案包括flume的source層采集原始數(shù)據(jù)，并將采集到的原始數(shù)據(jù)實(shí)時(shí)發(fā)送到分布式消息中間件模塊的數(shù)據(jù)采集隊(duì)列中；分布式數(shù)據(jù)處理模塊實(shí)時(shí)消費(fèi)分布式消息中間件模塊的采集隊(duì)列中的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗處理；分布式數(shù)據(jù)處理模塊將處理好的數(shù)據(jù)實(shí)時(shí)發(fā)送到分布式消息中間件模塊的結(jié)果消息隊(duì)列；flume的Sink層從分布式消息中間件模塊的結(jié)果消息隊(duì)列中獲取已處理好的數(shù)據(jù)發(fā)送給接收方。 |
