基于Hadoop的數(shù)據(jù)處理方法

基本信息

申請?zhí)?/td> CN201911253880.2 申請日 -
公開（公告）號 CN111078635B 公開（公告）日 2021-03-19
申請公布號 CN111078635B 申請公布日 2021-03-19
分類號 G06F16/182(2019.01)I;G06F16/14(2019.01)I;G06F16/16(2019.01)I 分類 計算；推算；計數(shù);
發(fā)明人 林森;唐寧;馬娜 申請（專利權）人 天津快友世紀科技有限公司
代理機構 北京萬貝專利代理事務所（特殊普通合伙） 代理人 馬紅
地址 300000天津市濱海新區(qū)天津自貿(mào)試驗區(qū)（中心商務區(qū)）金昌道637號寶正大廈26層2601
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Hadoop的數(shù)據(jù)采集優(yōu)先級判定及處理方法，該方法利用Hadoop分布式文件系統(tǒng)來處理海量數(shù)據(jù)，所述的Hadoop分布式文件系統(tǒng)包括用戶節(jié)點、命名節(jié)點、掃描模塊和子節(jié)點，所述的用戶節(jié)點包括JAVA虛擬機，所述的JAVA虛擬機包括Hadoop用戶端，該Hadoop用戶端分別與分布式文件子系統(tǒng)和數(shù)據(jù)輸出流交互；所述命名節(jié)點儲存調(diào)用頻率檢測信息，調(diào)用頻率檢測信息包括各調(diào)用子節(jié)點的頻率次數(shù)，所述命名節(jié)點根據(jù)所述子節(jié)點的頻率次數(shù)依次將所述子節(jié)點進行優(yōu)先權劃分，所述子節(jié)點的頻率次數(shù)越高，優(yōu)先權越大。??