基于Flink實時任務(wù)臟數(shù)據(jù)插件化管理的方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN202110771629.6 申請日 -
公開（公告）號 CN113407365A 公開（公告）日 2021-09-17
申請公布號 CN113407365A 申請公布日 2021-09-17
分類號 G06F9/54（2006.01）I;G06F16/215（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 溫天柱 申請（專利權(quán)）人 杭州玳數(shù)科技有限公司
代理機構(gòu) 常州佰業(yè)騰飛專利代理事務(wù)所（普通合伙） 代理人 陳紅橋
地址 310030浙江省杭州市西湖區(qū)紫霞街176號杭州互聯(lián)網(wǎng)創(chuàng)新創(chuàng)業(yè)園2號樓8F
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于Flink實時任務(wù)臟數(shù)據(jù)插件化管理的方法和系統(tǒng)，其中方法包括：臟數(shù)據(jù)管理者獲取臟數(shù)據(jù)配置信息，實例化臟數(shù)據(jù)管理者，實例化對應(yīng)的臟數(shù)據(jù)插件對象；臟數(shù)據(jù)管理者收集任務(wù)產(chǎn)生的臟數(shù)據(jù)及異常原因，將臟數(shù)據(jù)及異常原因存入消息隊列；臟數(shù)據(jù)管理者啟動臟數(shù)據(jù)插件對象中的臟數(shù)據(jù)消費者；臟數(shù)據(jù)消費者輪訓(xùn)消費消息隊列中的臟數(shù)據(jù)；如果臟數(shù)據(jù)消費者消費消息隊列中的臟數(shù)據(jù)成功，臟數(shù)據(jù)管理者將臟數(shù)據(jù)消費計數(shù)值加1，直至臟數(shù)據(jù)消費計數(shù)值達到預(yù)設(shè)臟數(shù)據(jù)消費計數(shù)值，確定任務(wù)失?。蝗绻K數(shù)據(jù)消費者消費消息隊列中的臟數(shù)據(jù)失敗，臟數(shù)據(jù)管理者將失敗數(shù)據(jù)計數(shù)值加1，直至失敗數(shù)據(jù)計數(shù)值達到預(yù)設(shè)失敗數(shù)據(jù)計數(shù)值，確定任務(wù)失敗。