基于流式計算框架的多線程數(shù)據(jù)處理方法、裝置和介質(zhì)

基本信息

申請?zhí)?/td> CN202011618342.1 申請日 -
公開（公告）號 CN112286582B 公開（公告）日 2021-03-16
申請公布號 CN112286582B 申請公布日 2021-03-16
分類號 G06F9/38(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 王秀雙;馬旭東;趙玉紅;李良敏;趙春波 申請（專利權(quán)）人 浙江巖華文化科技有限公司
代理機構(gòu) 杭州華進(jìn)聯(lián)浙知識產(chǎn)權(quán)代理有限公司 代理人 范麗霞
地址 313200浙江省湖州市德清縣舞陽街道塔山街901號1幢101室
法律狀態(tài) -

摘要

摘要 本申請涉及一種基于流式計算框架的多線程數(shù)據(jù)處理方法、裝置和存儲介質(zhì)，通過基于預(yù)先設(shè)置的第一水位線觸發(fā)目標(biāo)窗口處理數(shù)據(jù)切片，得到第一處理結(jié)果；若未被處理的數(shù)據(jù)切片中存在事件時間戳小于目標(biāo)窗口的結(jié)束時間戳的遲滯數(shù)據(jù)切片，則記錄流式計算框架接收遲滯數(shù)據(jù)切片的系統(tǒng)時間戳；設(shè)置第二水位線，其中，第二水位線的延遲時間不小于遲滯數(shù)據(jù)切片的系統(tǒng)時間戳與目標(biāo)窗口的結(jié)束時間戳之差；基于第二水位線重新觸發(fā)目標(biāo)窗口處理數(shù)據(jù)切片，得到第二處理結(jié)果，并根據(jù)第二處理結(jié)果校正第一處理結(jié)果，解決了基于流式計算框架的計算結(jié)果不準(zhǔn)確的問題，在保證一定數(shù)據(jù)處理時效性的情況下，提升了計算結(jié)果的準(zhǔn)確度。??