一種可簡化編程的大數(shù)據(jù)自動化解析方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN201610167763.4 申請日 -
公開（公告）號 CN105843899B 公開（公告）日 2017-07-18
申請公布號 CN105843899B 申請公布日 2017-07-18
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 尤海浪;唐勇;陳杰 申請（專利權(quán)）人 炫彩互動網(wǎng)絡(luò)科技有限公司
代理機構(gòu) 北京德崇智捷知識產(chǎn)權(quán)代理有限公司 代理人 炫彩互動網(wǎng)絡(luò)科技有限公司
地址 210019 江蘇省南京市建鄴區(qū)嘉陵江東街18號4幢17層
法律狀態(tài) -

摘要

摘要 本發(fā)明提出一種可簡化編程的大數(shù)據(jù)自動化解析方法及系統(tǒng)。針對現(xiàn)有的大數(shù)據(jù)編程需要繁瑣解析，導(dǎo)致存在數(shù)據(jù)解析易出錯導(dǎo)致臟數(shù)據(jù)和解析效率低下等問題，提出了通過自動化解析格式化和非格式化數(shù)據(jù)的方式，將Hive表中每條數(shù)據(jù)轉(zhuǎn)換成Java匿名類對象，并在系統(tǒng)中記錄Hive表與匿名類字段的對應(yīng)關(guān)系。匿名類根據(jù)@IField的成員變量的變量名稱和Hive表字段名稱進(jìn)行匹配，對于匹配上的成員變量直接賦予對應(yīng)的表字段值。在進(jìn)行大數(shù)據(jù)處理保持?jǐn)?shù)據(jù)靈活性的同時，提高了數(shù)據(jù)解析的速度和準(zhǔn)確性。