離線任務的處理方法和裝置

基本信息

申請?zhí)?/td> CN202111609393.2 申請日 -
公開（公告）號 CN114327820A 公開（公告）日 2022-04-12
申請公布號 CN114327820A 申請公布日 2022-04-12
分類號 G06F9/48（2006.01）I;G06F16/182（2019.01）I;G06F9/445（2018.01）I 分類 計算；推算；計數(shù);
發(fā)明人 宋東瑞;白杰;白會杰;姚鑫;蘇宇 申請（專利權）人 蘇州臻璇數(shù)據(jù)信息技術有限公司
代理機構 北京知匯林知識產(chǎn)權代理事務所（普通合伙） 代理人 楊華
地址 215000江蘇省蘇州市相城區(qū)高鐵新城青龍港路286號長三角國際研發(fā)社區(qū)啟動區(qū)11#101室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種離線任務的處理方法和裝置，其中，該方法包括：獲取預設時間周期內的歷史渠道數(shù)據(jù)，采用計算引擎Spark對所述歷史渠道數(shù)據(jù)進行劃分，然后生成并編排所述歷史渠道數(shù)據(jù)的離線任務；采用批處理調度器Azkaban對所述離線任務進行任務調度。本申請解決了現(xiàn)有技術中不能進行任務編排的問題。