一種基于Flume的數(shù)據(jù)采集與匯聚方法

基本信息

申請?zhí)?/td> CN201911350150.4 申請日 -
公開（公告）號 CN113032375A 公開（公告）日 2021-06-25
申請公布號 CN113032375A 申請公布日 2021-06-25
分類號 G06F16/215;G06F16/25;G06F16/182;G06F16/17;G06F16/2458;G06F16/248 分類 計算；推算；計數(shù);
發(fā)明人 苗君;閆正洋 申請（專利權(quán)）人 廣州如加網(wǎng)絡(luò)科技有限公司
代理機構(gòu) 廣州渣津?qū)＠硎聞?wù)所（特殊普通合伙） 代理人 曾妮;陸思宇
地址 510000 廣東省廣州市天河區(qū)天河北路898號16層1612-1616
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于Flume的數(shù)據(jù)采集與匯聚方法，方法的步驟為：將不同格式的數(shù)據(jù)源分配至不同的采集層Flume中的source層，source層將采集到的原始數(shù)據(jù)發(fā)送給不同格式數(shù)據(jù)處理的channel層；channel層設(shè)置數(shù)據(jù)清洗規(guī)則并進(jìn)行數(shù)據(jù)清洗，清洗后發(fā)送給采集層Flume的不同格式數(shù)據(jù)的sink層，sink層發(fā)送給不同格式數(shù)據(jù)的匯聚層Flume的source層；匯聚層Flume的source層獲取到的數(shù)據(jù)發(fā)送給不同格式數(shù)據(jù)的匯聚層Flume的channel層；channel層將獲取的匯聚數(shù)據(jù)發(fā)送至匯聚層Flume的sink層，sink層再將匯聚后的數(shù)據(jù)發(fā)送給不同的數(shù)據(jù)接收方或者由不同的接收方主動拉取匯聚層sink的數(shù)據(jù)。本發(fā)明通過把Flume分別組合為采集層和匯聚層，并通過采集層和匯聚層對應(yīng)關(guān)系配置來靈活處理，實現(xiàn)多種數(shù)據(jù)過濾，支持接收方對多種數(shù)據(jù)接收的需求。