基于Flink實(shí)時(shí)任務(wù)臟數(shù)據(jù)插件化管理的方法和系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202110771629.6 申請(qǐng)日 -
公開（公告）號(hào) CN113407365A 公開（公告）日 2021-09-17
申請(qǐng)公布號(hào) CN113407365A 申請(qǐng)公布日 2021-09-17
分類號(hào) G06F9/54（2006.01）I;G06F16/215（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 溫天柱 申請(qǐng)（專利權(quán)）人 杭州玳數(shù)科技有限公司
代理機(jī)構(gòu) 常州佰業(yè)騰飛專利代理事務(wù)所（普通合伙） 代理人 陳紅橋
地址 310030浙江省杭州市西湖區(qū)紫霞街176號(hào)杭州互聯(lián)網(wǎng)創(chuàng)新創(chuàng)業(yè)園2號(hào)樓8F
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于Flink實(shí)時(shí)任務(wù)臟數(shù)據(jù)插件化管理的方法和系統(tǒng)，其中方法包括：臟數(shù)據(jù)管理者獲取臟數(shù)據(jù)配置信息，實(shí)例化臟數(shù)據(jù)管理者，實(shí)例化對(duì)應(yīng)的臟數(shù)據(jù)插件對(duì)象；臟數(shù)據(jù)管理者收集任務(wù)產(chǎn)生的臟數(shù)據(jù)及異常原因，將臟數(shù)據(jù)及異常原因存入消息隊(duì)列；臟數(shù)據(jù)管理者啟動(dòng)臟數(shù)據(jù)插件對(duì)象中的臟數(shù)據(jù)消費(fèi)者；臟數(shù)據(jù)消費(fèi)者輪訓(xùn)消費(fèi)消息隊(duì)列中的臟數(shù)據(jù)；如果臟數(shù)據(jù)消費(fèi)者消費(fèi)消息隊(duì)列中的臟數(shù)據(jù)成功，臟數(shù)據(jù)管理者將臟數(shù)據(jù)消費(fèi)計(jì)數(shù)值加1，直至臟數(shù)據(jù)消費(fèi)計(jì)數(shù)值達(dá)到預(yù)設(shè)臟數(shù)據(jù)消費(fèi)計(jì)數(shù)值，確定任務(wù)失??；如果臟數(shù)據(jù)消費(fèi)者消費(fèi)消息隊(duì)列中的臟數(shù)據(jù)失敗，臟數(shù)據(jù)管理者將失敗數(shù)據(jù)計(jì)數(shù)值加1，直至失敗數(shù)據(jù)計(jì)數(shù)值達(dá)到預(yù)設(shè)失敗數(shù)據(jù)計(jì)數(shù)值，確定任務(wù)失敗。