一種基于大數(shù)據(jù)計算引擎的ETL作業(yè)開發(fā)系統(tǒng)和計算機設(shè)備

基本信息

申請?zhí)?/td> CN202110590257.7 申請日 -
公開（公告）號 CN113204593A 公開（公告）日 2021-08-03
申請公布號 CN113204593A 申請公布日 2021-08-03
分類號 G06F16/25（2019.01）I;G06F16/242（2019.01）I;G06F16/215（2019.01）I;G06F16/182（2019.01）I;G06F8/41（2018.01）I 分類 計算；推算；計數(shù);
發(fā)明人 董加強 申請（專利權(quán)）人 上海七牛信息技術(shù)有限公司
代理機構(gòu) 上海碩力知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 郭桂峰
地址 201203上海市浦東新區(qū)中國（上海）自由貿(mào)易試驗區(qū)博霞路66號1-5層
法律狀態(tài) -

摘要

摘要 本申請實施例屬于大數(shù)據(jù)技術(shù)領(lǐng)域，涉及一種基于大數(shù)據(jù)計算引擎的ETL作業(yè)開發(fā)系統(tǒng)和一種計算機設(shè)備，系統(tǒng)包括：配置文件輸入及解析子系統(tǒng)，用于輸入待進行ETL作業(yè)開發(fā)的配置文件，然后將所述配置文件進行解析，得到解析結(jié)果；渲染及注冊子系統(tǒng)，用于對所述解析結(jié)果進行渲染和動態(tài)編譯，然后向大數(shù)據(jù)計算引擎進行注冊；執(zhí)行子系統(tǒng)，用于調(diào)用所述注冊后的大數(shù)據(jù)計算引擎進行ETL作業(yè)開發(fā)。采用配置式的開發(fā)方式和動態(tài)解析渲染ETL作業(yè)指令，并結(jié)合大數(shù)據(jù)計算引擎形成分布式的大數(shù)據(jù)處理系統(tǒng)，可以減少重復性勞動、縮短開發(fā)流程，并降低了開發(fā)和運維的難度。