數(shù)據(jù)處理方法、裝置、電子設備及可讀存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202010133602.X 申請日 -
公開（公告）號 CN111339175A 公開（公告）日 2020-06-26
申請公布號 CN111339175A 申請公布日 2020-06-26
分類號 G06F16/25(2019.01)I 分類 -
發(fā)明人 劉奔 申請（專利權）人 成都運力科技有限公司
代理機構 北京超成律師事務所 代理人 孔默
地址 610000四川省成都市高新區(qū)中國(四川)自由貿(mào)易試驗區(qū)天府大道中段1366號2棟4層22-31號
法律狀態(tài) -

摘要

摘要 本申請?zhí)峁┮环N數(shù)據(jù)處理方法、裝置、電子設備及可讀存儲介質(zhì)，包括：獲得多個原始數(shù)據(jù)；將多個原始數(shù)據(jù)發(fā)送到分布式消息隊列Kafka；利用Flink從Kafka獲取多個原始數(shù)據(jù)并進行ETL處理，獲得多個整合數(shù)據(jù)，整合數(shù)據(jù)帶有標簽；按照每個整合數(shù)據(jù)的標簽，將每個整合數(shù)據(jù)寫入對應的數(shù)據(jù)庫；從Kafka、Flink以及多個數(shù)據(jù)庫對應的API接口收集監(jiān)控數(shù)據(jù)，并對監(jiān)控數(shù)據(jù)進行監(jiān)控，其中，監(jiān)控數(shù)據(jù)包括原始數(shù)據(jù)和整合數(shù)據(jù)。本申請實施例提供的數(shù)據(jù)處理方法可以利用Flink對原始數(shù)據(jù)進行ETL處理，且對整個數(shù)據(jù)處理流程的各個階段產(chǎn)生的數(shù)據(jù)進行監(jiān)控，對各個階段產(chǎn)生的數(shù)據(jù)均進行監(jiān)控，可以較好地把握數(shù)據(jù)在被處理過程中的變化情況，可以使得數(shù)據(jù)口徑統(tǒng)一，且有利于保證數(shù)據(jù)的一致性。??