基于事件心跳和多版本的Flink流維Join通用處理方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011179330.3 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN112307023A | 公開（公告）日 | 2021-02-02 |
| 申請(qǐng)公布號(hào) | CN112307023A | 申請(qǐng)公布日 | 2021-02-02 |
| 分類號(hào) | G06F16/22(2019.01)I; | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王慧 | 申請(qǐng)（專利權(quán)）人 | 杭州微拍堂文化創(chuàng)意有限公司 |
| 代理機(jī)構(gòu) | 杭州求是專利事務(wù)所有限公司 | 代理人 | 陳升華 |
| 地址 | 310012浙江省杭州市西湖區(qū)文三路408號(hào)5幢424室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于事件心跳和多版本的Flink流維Join通用處理方法，包括：快照服務(wù)器接收來自存儲(chǔ)端發(fā)送的心跳事件，將接收到的心跳事件按不同數(shù)據(jù)集分類，合并來自相同數(shù)據(jù)集分區(qū)的心跳生成該分區(qū)的快照，合并相同數(shù)據(jù)集所有分區(qū)的快照生成數(shù)據(jù)集的快照；用戶在Flink服務(wù)上進(jìn)行流維Join計(jì)算，根據(jù)不同流維所屬的數(shù)據(jù)集查詢?cè)摽煺?，生成水印，F(xiàn)link服務(wù)根據(jù)水印觸發(fā)流計(jì)算，生成計(jì)算結(jié)果，寫入存儲(chǔ)端。本發(fā)明在滿足靜態(tài)維表Join、支持異步、緩存動(dòng)態(tài)維表Join以及動(dòng)態(tài)維表Join以上場景的同時(shí)，做到維表在任務(wù)間共享；同時(shí)回刷數(shù)據(jù)時(shí)可以Join到歷史時(shí)刻的維表數(shù)據(jù)，保證回刷數(shù)據(jù)的準(zhǔn)確性。?? |
