基于可視化界面快速生成分布式批處理任務(wù)的方法和裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110906348.7 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN113742040A | 公開（公告）日 | 2021-12-03 |
| 申請(qǐng)公布號(hào) | CN113742040A | 申請(qǐng)公布日 | 2021-12-03 |
| 分類號(hào) | G06F9/48（2006.01）I;G06F16/2455（2019.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 張?chǎng)?畢陽洋;段智永;曹杰 | 申請(qǐng)（專利權(quán)）人 | 廣州市易工品科技有限公司 |
| 代理機(jī)構(gòu) | 廣州智斧知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 孔德超 |
| 地址 | 510000廣東省廣州市海珠區(qū)閱江中路686號(hào)410 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明實(shí)施例涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，公開了一種基于可視化界面快速生成分布式批處理任務(wù)的方法和裝置。該方法包括：接收使用者在可視化界面填寫的配置信息，配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；將配置信息組織成配置文件，并存入存儲(chǔ)介質(zhì)中；接收使用者的任務(wù)啟動(dòng)請(qǐng)求，調(diào)取配置文件，并將配置文件傳入后臺(tái)的執(zhí)行引擎中，由執(zhí)行引擎解析配置文件信息，生成spark任務(wù)，調(diào)度執(zhí)行批處理任務(wù)。實(shí)施本發(fā)明實(shí)施例，可以通過可視化界面填寫配置信息，自動(dòng)生成配置文件，通過執(zhí)行引擎解析配置文件并調(diào)度執(zhí)行批處理操作，加速批處理任務(wù)的構(gòu)建和處理。 |
