一種基于大數(shù)據(jù)分析的機(jī)頂盒收視方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202010614212.4 申請(qǐng)日 -
公開（公告）號(hào) CN111753008A 公開（公告）日 2020-10-09
申請(qǐng)公布號(hào) CN111753008A 申請(qǐng)公布日 2020-10-09
分類號(hào) G06F16/25(2019.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳少靜;王貴江 申請(qǐng)（專利權(quán)）人 珠海邁越信息技術(shù)有限公司
代理機(jī)構(gòu) 廣州三環(huán)專利商標(biāo)代理有限公司 代理人 侯麗燕
地址 519000廣東省珠海市金灣區(qū)紅旗鎮(zhèn)永達(dá)路66號(hào)3#廠房第四層401室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)方法及系統(tǒng)，其特征方法包括步驟：實(shí)時(shí)接收及Flume程序收集客戶端不斷上傳的海量日志文件；把采集到的數(shù)據(jù)存儲(chǔ)到kafka分布式訂閱系統(tǒng)中；對(duì)Kafka中的數(shù)據(jù)進(jìn)行ETL數(shù)據(jù)清洗的操作，建立結(jié)構(gòu)化數(shù)據(jù)后存儲(chǔ)到hbase中；使用Hive關(guān)聯(lián)Hbase中的數(shù)據(jù)，將結(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表；使用Hive進(jìn)行統(tǒng)計(jì)匯總，統(tǒng)計(jì)結(jié)果存儲(chǔ)到Mysql中；web頁面支撐實(shí)時(shí)查詢hbase中的結(jié)構(gòu)化數(shù)據(jù)以及Mysql的統(tǒng)計(jì)結(jié)果報(bào)表展示。系統(tǒng)包括數(shù)據(jù)采集單元，數(shù)據(jù)的預(yù)處理單元，數(shù)據(jù)清洗單元，數(shù)據(jù)分析處理單元，數(shù)據(jù)存儲(chǔ)單元，數(shù)據(jù)統(tǒng)計(jì)匯總和呈現(xiàn)單元和可視化單元。本發(fā)明使大大的提高機(jī)頂盒收集統(tǒng)計(jì)數(shù)據(jù)的處理速度和能力，能支持多元化的信息收集。??