基于Hadoop的數(shù)據(jù)采集優(yōu)先級判定及處理方法

基本信息

申請?zhí)?/td> CN201911253880.2 申請日 -
公開（公告）號 CN111078635A 公開（公告）日 2020-04-28
申請公布號 CN111078635A 申請公布日 2020-04-28
分類號 G06F16/14;G06F16/16;G06F16/182 分類 計算；推算；計數(shù);
發(fā)明人 林森;唐寧;馬娜 申請（專利權(quán)）人 天津快友世紀科技有限公司
代理機構(gòu) - 代理人 -
地址 100025 北京市朝陽區(qū)阜通東大街1號院5號樓2單元324502室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Hadoop的數(shù)據(jù)采集優(yōu)先級判定及處理方法，該方法利用Hadoop分布式文件系統(tǒng)來處理海量數(shù)據(jù)，所述的Hadoop分布式文件系統(tǒng)包括用戶節(jié)點、命名節(jié)點、掃描模塊和子節(jié)點，所述的用戶節(jié)點包括JAVA虛擬機，所述的JAVA虛擬機包括Hadoop用戶端，該Hadoop用戶端分別與分布式文件子系統(tǒng)和數(shù)據(jù)輸出流交互；所述命名節(jié)點儲存調(diào)用頻率檢測信息，調(diào)用頻率檢測信息包括各調(diào)用子節(jié)點的頻率次數(shù)，所述命名節(jié)點根據(jù)所述子節(jié)點的頻率次數(shù)依次將所述子節(jié)點進行優(yōu)先權(quán)劃分，所述子節(jié)點的頻率次數(shù)越高，優(yōu)先權(quán)越大。