一種實時和離線大數(shù)據(jù)處理系統(tǒng)、方法、存儲介質(zhì)及終端

基本信息

申請?zhí)?/td> CN201910914660.3 申請日 -
公開（公告）號 CN110659323A 公開（公告）日 2020-01-07
申請公布號 CN110659323A 申請公布日 2020-01-07
分類號 G06F16/25 分類 計算；推算；計數(shù);
發(fā)明人 朱水斌;羅穩(wěn);劉建 申請（專利權(quán)）人 卓爾購信息科技（武漢）有限公司
代理機構(gòu) 武漢謙源知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 王力
地址 430312 湖北省武漢市黃陂區(qū)盤龍城漢口北大道88號漢口北電子商務(wù)大廈13樓
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種實時和離線大數(shù)據(jù)處理系統(tǒng)、方法、存儲介質(zhì)及終端，其系統(tǒng)包括數(shù)據(jù)配置模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)轉(zhuǎn)換模塊和數(shù)據(jù)輸出模塊；數(shù)據(jù)配置模塊讀取配置文件信息，并分別對數(shù)據(jù)采集模塊、數(shù)據(jù)轉(zhuǎn)換模塊和數(shù)據(jù)輸出模塊進行配置；數(shù)據(jù)采集模塊從離線或者實時數(shù)據(jù)流中抽取數(shù)據(jù)源，并轉(zhuǎn)換為表格式的數(shù)據(jù)信息；數(shù)據(jù)轉(zhuǎn)換模塊對數(shù)據(jù)信息進行轉(zhuǎn)換；數(shù)據(jù)輸出模塊將轉(zhuǎn)換后的數(shù)據(jù)信息輸出。本發(fā)明通過數(shù)據(jù)配置模塊實現(xiàn)大數(shù)據(jù)處理的全程配置化管理，能處理多源多格式數(shù)據(jù)的采集,海量數(shù)據(jù)的轉(zhuǎn)換，不同格式和不同數(shù)據(jù)存儲格式的輸出。減少企業(yè)學(xué)習(xí)成本和開發(fā)成本，加快企業(yè)部署大數(shù)據(jù)處理流程的過程，模塊化和插件化設(shè)計,配置靈活,擴展簡單，維護方便。