一種實(shí)時(shí)數(shù)據(jù)流聚合查詢的實(shí)現(xiàn)方法

基本信息

申請?zhí)?/td> CN201710792298.8 申請日 -
公開（公告）號 CN107766413A 公開（公告）日 2018-03-06
申請公布號 CN107766413A 申請公布日 2018-03-06
分類號 G06F17/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 羅建 申請（專利權(quán)）人 珠海宇能云企科技有限公司
代理機(jī)構(gòu) 深圳力拓知識產(chǎn)權(quán)代理有限公司 代理人 珠海宇能云企科技有限公司
地址 519000 廣東省珠海市橫琴新區(qū)寶華路6號105室-11451
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種實(shí)時(shí)數(shù)據(jù)流聚合查詢的實(shí)現(xiàn)方法，包括以下步驟：分析聚合查詢語句，提取查詢語句中的關(guān)鍵字段信息，并確定聚合算法；根據(jù)計(jì)算需求定義實(shí)時(shí)數(shù)據(jù)流的window寬度，從實(shí)時(shí)數(shù)據(jù)流中不斷讀取數(shù)據(jù)，按window寬度篩選出數(shù)據(jù)；對篩選出的數(shù)據(jù)，根據(jù)關(guān)鍵字段信息，計(jì)算得到第一數(shù)據(jù)集合和第二數(shù)據(jù)集合；通過scard算法將第一數(shù)據(jù)集合和第二數(shù)據(jù)集合進(jìn)行聚合計(jì)算，并拼合成聚合結(jié)果集合；將聚合計(jì)算后的聚合結(jié)果集合存入關(guān)系型數(shù)據(jù)庫或者分布式文檔存儲數(shù)據(jù)庫中供應(yīng)用系統(tǒng)調(diào)用。本發(fā)明采用redis集群作為計(jì)算中間結(jié)果存儲介質(zhì)，有效結(jié)合實(shí)時(shí)數(shù)據(jù)流window的概念，并充分利用redis高效的特性，實(shí)現(xiàn)了一套快速、準(zhǔn)確、通用的實(shí)時(shí)大數(shù)據(jù)流的聚合方法。