多關(guān)聯(lián)實(shí)時(shí)數(shù)據(jù)流的亂序處理方法、裝置、介質(zhì)和設(shè)備

基本信息

申請(qǐng)?zhí)?/td> CN202110839677.4 申請(qǐng)日 -
公開（公告）號(hào) CN113515547A 公開（公告）日 2021-10-19
申請(qǐng)公布號(hào) CN113515547A 申請(qǐng)公布日 2021-10-19
分類號(hào) G06F16/2455（2019.01）I;G06F16/22（2019.01）I;G06F16/27（2019.01）I;G06F16/28（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 馬明輝;王彬;宋建鋒;張翼 申請(qǐng)（專利權(quán)）人 北京億歐網(wǎng)盟科技有限公司
代理機(jī)構(gòu) 北京智燃律師事務(wù)所 代理人 柴琳琳
地址 100125北京市朝陽區(qū)霞光里9號(hào)10層1001房間
法律狀態(tài) -

摘要

摘要 本發(fā)明提供多關(guān)聯(lián)實(shí)時(shí)數(shù)據(jù)流的亂序處理方法、裝置、介質(zhì)和設(shè)備，該方法包括：實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)庫中主表和/或關(guān)聯(lián)表的日志變化；當(dāng)日志發(fā)生變化時(shí)，將主表變化記錄和關(guān)聯(lián)表變化記錄以多分區(qū)方式并行寫入消息列隊(duì)的相應(yīng)主題；獲取主表和關(guān)聯(lián)表的多分區(qū)數(shù)據(jù)流；將主表的業(yè)務(wù)主鍵加載到緩存區(qū)；獲取業(yè)務(wù)外鍵，判斷是否能從緩存區(qū)獲取到對(duì)應(yīng)的業(yè)務(wù)主鍵；如果能夠獲取到業(yè)務(wù)主鍵，則分別將主表和關(guān)聯(lián)表的多分區(qū)數(shù)據(jù)流合并為單獨(dú)分區(qū)數(shù)據(jù)流，根據(jù)指定字段對(duì)各單獨(dú)分區(qū)數(shù)據(jù)流進(jìn)行分組處理，針對(duì)每個(gè)分組的數(shù)據(jù)流進(jìn)行排序處理，對(duì)每個(gè)分組的數(shù)據(jù)流進(jìn)行消費(fèi)，對(duì)消費(fèi)后的數(shù)據(jù)流執(zhí)行業(yè)務(wù)邏輯處理。該方法可在高并發(fā)的多關(guān)聯(lián)數(shù)據(jù)流實(shí)時(shí)場(chǎng)景下解決出現(xiàn)的亂序。