一種基于事件流驅(qū)動(dòng)的數(shù)據(jù)清洗方法和裝置

基本信息

申請(qǐng)?zhí)?/td> CN202011610990.2 申請(qǐng)日 -
公開（公告）號(hào) CN112631755A 公開（公告）日 2021-04-09
申請(qǐng)公布號(hào) CN112631755A 申請(qǐng)公布日 2021-04-09
分類號(hào) G06F9/48;G06F11/14;G06F16/215 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 駱振;王彭彭 申請(qǐng)（專利權(quán)）人 上海高頓教育科技有限公司
代理機(jī)構(gòu) 上?？剖⒅R(shí)產(chǎn)權(quán)代理有限公司 代理人 趙繼明
地址 200083 上海市虹口區(qū)中山北一路121號(hào)A3幢1001-1030室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于事件流驅(qū)動(dòng)的數(shù)據(jù)清洗方法，具體包括：S1、獲取目標(biāo)業(yè)務(wù)的任務(wù)列表，檢測(cè)是否存在正在處理的任務(wù)，若是則結(jié)束，若否則轉(zhuǎn)至S2；S2、獲取目標(biāo)業(yè)務(wù)的數(shù)量處理流程信息；S3、加載組裝任務(wù)實(shí)例組件及相應(yīng)的梳理方法；S4、獲取待操作的源數(shù)據(jù)；S5、將任務(wù)列表拆分成一個(gè)主任務(wù)和多個(gè)子任務(wù)，子任務(wù)進(jìn)入消息隊(duì)列進(jìn)行任務(wù)分發(fā)；S6、備份原始主任務(wù)和子任務(wù)，獲取標(biāo)準(zhǔn)化數(shù)據(jù)，更新子任務(wù)和主任務(wù)的處理結(jié)果并備份；S7、處理結(jié)果進(jìn)行準(zhǔn)確性校驗(yàn)，若存在數(shù)據(jù)異常轉(zhuǎn)至S8，若否則釋放任務(wù)列表的任務(wù)狀態(tài)；S8、任務(wù)列表根據(jù)備份數(shù)據(jù)，數(shù)據(jù)回滾到初始狀態(tài)。與現(xiàn)有技術(shù)相比，本發(fā)明具有易擴(kuò)展、易維護(hù)、提高復(fù)用性和可靠性等優(yōu)點(diǎn)。