一種數(shù)據(jù)關(guān)聯(lián)方法、裝置、服務(wù)器及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110473018.3 申請日 -
公開（公告）號 CN113518365A 公開（公告）日 2021-10-19
申請公布號 CN113518365A 申請公布日 2021-10-19
分類號 H04W24/04（2009.01）I;H04W4/20（2018.01）I;H04W24/08（2009.01）I 分類 電通信技術(shù);
發(fā)明人 向陽;劉亮;林昀 申請（專利權(quán)）人 北京紅山信息科技研究院有限公司
代理機構(gòu) 北京品源專利代理有限公司 代理人 潘登
地址 100176北京市大興區(qū)北京經(jīng)濟技術(shù)開發(fā)區(qū)榮華中路22號1號樓31層3101
法律狀態(tài) -

摘要

摘要 本發(fā)明實施例公開了一種數(shù)據(jù)關(guān)聯(lián)方法、裝置、服務(wù)器及存儲介質(zhì)。該方法包括：采用flume進行日志采集，接入信令數(shù)據(jù)和無線數(shù)據(jù)；將信令數(shù)據(jù)和無線數(shù)據(jù)存入kafka集群中，同時將信令數(shù)據(jù)和無線數(shù)據(jù)分流寫入hbase和hive集群中；通過flink關(guān)聯(lián)信令數(shù)據(jù)和無線數(shù)據(jù)，將得到的關(guān)聯(lián)數(shù)據(jù)分流寫入hbase和hive集群中，其中，關(guān)聯(lián)字段是以信令數(shù)據(jù)和無線數(shù)據(jù)中相同的基站信息作為關(guān)聯(lián)字段，以信令數(shù)據(jù)的時間戳作為起始時間點，業(yè)務(wù)持續(xù)時間作為時間段，在無線數(shù)據(jù)中尋找符合關(guān)聯(lián)條件的數(shù)據(jù)。本發(fā)明實施例的技術(shù)方案，通過實時關(guān)聯(lián)計算，保障兩個數(shù)據(jù)的有效關(guān)聯(lián)，即使其中一條或多條數(shù)據(jù)延時，在保障數(shù)據(jù)處理性能及時效性的同時，也能夠保障延時到達的數(shù)據(jù)被有效處理。