一種通用的大數(shù)據(jù)采集字節(jié)流解析系統(tǒng)及其實現(xiàn)方法

基本信息

申請?zhí)?/td> CN201610565549.4 申請日 -
公開（公告）號 CN106254313A 公開（公告）日 2016-12-21
申請公布號 CN106254313A 申請公布日 2016-12-21
分類號 H04L29/06(2006.01)I 分類 電通信技術(shù);
發(fā)明人 吳建州;季統(tǒng)凱 申請（專利權(quán)）人 襲明科技（廣東）有限公司
代理機構(gòu) 廣東莞信律師事務(wù)所 代理人 余倫
地址 523808 廣東省東莞市松山湖科技產(chǎn)業(yè)園區(qū)松科苑14號樓
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計算機應(yīng)用技術(shù)領(lǐng)域，特別是一種通用的大數(shù)據(jù)采集字節(jié)流解析系統(tǒng)及其實現(xiàn)方法。本發(fā)明由字節(jié)流預(yù)處理器和二維表解析器構(gòu)成。字節(jié)流預(yù)處理器根據(jù)約定自動校驗數(shù)據(jù)并根據(jù)壓縮和加密方式自動選擇相應(yīng)的解壓和解密方法對數(shù)據(jù)進行預(yù)處理；二維表解析器按照字節(jié)流格式定義二維表，用行和行組存儲數(shù)據(jù)信息，用列標(biāo)明每個字段的名稱、數(shù)據(jù)類型和長度，讀入數(shù)據(jù)字節(jié)流后，根據(jù)每一列定義的比特長度將字節(jié)流分割成多個字段，再根據(jù)數(shù)據(jù)類型將分割好的字節(jié)流解析成相應(yīng)的信息；通過讀取行或者行組里的多個行獲取數(shù)據(jù)或者集合信息，通過列的字段名稱讀取數(shù)據(jù)行的具體字段信息。本發(fā)明避免重復(fù)定義和編寫解析過程；可以適用于大數(shù)據(jù)采集中對結(jié)構(gòu)復(fù)雜多樣的數(shù)據(jù)進行統(tǒng)一的解析。