一種通用的大數(shù)據(jù)采集字節(jié)流解析系統(tǒng)及其實(shí)現(xiàn)方法

基本信息

申請?zhí)?/td> CN201610565549.4 申請日 -
公開（公告）號(hào) CN106254313B 公開（公告）日 2019-06-21
申請公布號(hào) CN106254313B 申請公布日 2019-06-21
分類號(hào) H04L29/06（2006.01）I 分類 電通信技術(shù);
發(fā)明人 吳建州; 季統(tǒng)凱 申請（專利權(quán)）人 襲明科技（廣東）有限公司
代理機(jī)構(gòu) 廣東莞信律師事務(wù)所 代理人 國云科技股份有限公司;襲明科技（廣東）有限公司
地址 523808 廣東省東莞市松山湖高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)科匯路1號(hào)中科院云計(jì)算中心19樓
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別是一種通用的大數(shù)據(jù)采集字節(jié)流解析系統(tǒng)及其實(shí)現(xiàn)方法。本發(fā)明由字節(jié)流預(yù)處理器和二維表解析器構(gòu)成。字節(jié)流預(yù)處理器根據(jù)約定自動(dòng)校驗(yàn)數(shù)據(jù)并根據(jù)壓縮和加密方式自動(dòng)選擇相應(yīng)的解壓和解密方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；二維表解析器按照字節(jié)流格式定義二維表，用行和行組存儲(chǔ)數(shù)據(jù)信息，用列標(biāo)明每個(gè)字段的名稱、數(shù)據(jù)類型和長度，讀入數(shù)據(jù)字節(jié)流后，根據(jù)每一列定義的比特長度將字節(jié)流分割成多個(gè)字段，再根據(jù)數(shù)據(jù)類型將分割好的字節(jié)流解析成相應(yīng)的信息；通過讀取行或者行組里的多個(gè)行獲取數(shù)據(jù)或者集合信息，通過列的字段名稱讀取數(shù)據(jù)行的具體字段信息。本發(fā)明避免重復(fù)定義和編寫解析過程；可以適用于大數(shù)據(jù)采集中對(duì)結(jié)構(gòu)復(fù)雜多樣的數(shù)據(jù)進(jìn)行統(tǒng)一的解析。