基于可視化界面快速生成分布式批處理任務(wù)的方法和裝置

基本信息

申請?zhí)?/td> CN202110906348.7 申請日 -
公開（公告）號 CN113742040A 公開（公告）日 2021-12-03
申請公布號 CN113742040A 申請公布日 2021-12-03
分類號 G06F9/48（2006.01）I;G06F16/2455（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 張鑫;畢陽洋;段智永;曹杰 申請（專利權(quán)）人 廣州市易工品科技有限公司
代理機構(gòu) 廣州智斧知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 孔德超
地址 510000廣東省廣州市海珠區(qū)閱江中路686號410
法律狀態(tài) -

摘要

摘要 本發(fā)明實施例涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，公開了一種基于可視化界面快速生成分布式批處理任務(wù)的方法和裝置。該方法包括：接收使用者在可視化界面填寫的配置信息，配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；將配置信息組織成配置文件，并存入存儲介質(zhì)中；接收使用者的任務(wù)啟動請求，調(diào)取配置文件，并將配置文件傳入后臺的執(zhí)行引擎中，由執(zhí)行引擎解析配置文件信息，生成spark任務(wù)，調(diào)度執(zhí)行批處理任務(wù)。實施本發(fā)明實施例，可以通過可視化界面填寫配置信息，自動生成配置文件，通過執(zhí)行引擎解析配置文件并調(diào)度執(zhí)行批處理操作，加速批處理任務(wù)的構(gòu)建和處理。