基于Hadoop的數(shù)據(jù)采集優(yōu)先級(jí)判定及處理方法

基本信息

申請(qǐng)?zhí)?/td> CN201911253880.2 申請(qǐng)日 -
公開（公告）號(hào) CN111078635A 公開（公告）日 2020-04-28
申請(qǐng)公布號(hào) CN111078635A 申請(qǐng)公布日 2020-04-28
分類號(hào) G06F16/14;G06F16/16;G06F16/182 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 林森;唐寧;馬娜 申請(qǐng)（專利權(quán)）人 北京快友世紀(jì)科技股份有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100025 北京市朝陽區(qū)阜通東大街1號(hào)院5號(hào)樓2單元324502室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Hadoop的數(shù)據(jù)采集優(yōu)先級(jí)判定及處理方法，該方法利用Hadoop分布式文件系統(tǒng)來處理海量數(shù)據(jù)，所述的Hadoop分布式文件系統(tǒng)包括用戶節(jié)點(diǎn)、命名節(jié)點(diǎn)、掃描模塊和子節(jié)點(diǎn)，所述的用戶節(jié)點(diǎn)包括JAVA虛擬機(jī)，所述的JAVA虛擬機(jī)包括Hadoop用戶端，該Hadoop用戶端分別與分布式文件子系統(tǒng)和數(shù)據(jù)輸出流交互；所述命名節(jié)點(diǎn)儲(chǔ)存調(diào)用頻率檢測信息，調(diào)用頻率檢測信息包括各調(diào)用子節(jié)點(diǎn)的頻率次數(shù)，所述命名節(jié)點(diǎn)根據(jù)所述子節(jié)點(diǎn)的頻率次數(shù)依次將所述子節(jié)點(diǎn)進(jìn)行優(yōu)先權(quán)劃分，所述子節(jié)點(diǎn)的頻率次數(shù)越高，優(yōu)先權(quán)越大。