Hadoop多管道數(shù)據(jù)處理分析方法

基本信息

申請(qǐng)?zhí)?/td> CN201811174507.3 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN109299057A 公開(kāi)（公告）日 2019-02-01
申請(qǐng)公布號(hào) CN109299057A 申請(qǐng)公布日 2019-02-01
分類號(hào) G06F16/182;G06F16/18;G06F16/16 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 林森;唐寧;馬娜 申請(qǐng)（專利權(quán)）人 北京快友世紀(jì)科技股份有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100020 北京市朝陽(yáng)區(qū)東三環(huán)北路甲2號(hào)7幢315室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種Hadoop多管道數(shù)據(jù)處理分析方法，該方法利用Hadoop分布式文件系統(tǒng)來(lái)處理海量數(shù)據(jù)，系統(tǒng)包括用戶節(jié)點(diǎn)、命名節(jié)點(diǎn)、塊掃描模塊和云端節(jié)點(diǎn)，用戶節(jié)點(diǎn)包括JAVA虛擬機(jī)，JAVA虛擬機(jī)包括Hadoop用戶端；云端節(jié)點(diǎn)包括數(shù)據(jù)節(jié)點(diǎn)；Hadoop用戶端向命名節(jié)點(diǎn)發(fā)送具有參數(shù)的打開(kāi)命令；命名節(jié)點(diǎn)使用定位塊數(shù)據(jù)結(jié)構(gòu)響應(yīng)Hadoop用戶端；Hadoop用戶端通過(guò)為每個(gè)請(qǐng)求的塊發(fā)送包含所請(qǐng)求塊的塊ID，從所識(shí)別的數(shù)據(jù)節(jié)點(diǎn)直接請(qǐng)求文件的塊；接收請(qǐng)求的數(shù)據(jù)節(jié)點(diǎn)使用所請(qǐng)求塊的塊ID來(lái)訪問(wèn)它正在存儲(chǔ)的相應(yīng)塊之一，并用所訪問(wèn)塊的數(shù)據(jù)響應(yīng)Hadoop用戶端；Hadoop用戶端向命名節(jié)點(diǎn)指示想要將數(shù)據(jù)塊附加到現(xiàn)有文件；命名節(jié)點(diǎn)接收Hadoop用戶端發(fā)送的附加命令。