一種基于流計(jì)算自動(dòng)化拆分消息的方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202210097067.6 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN114116266A | 公開（公告）日 | 2022-03-01 |
| 申請(qǐng)公布號(hào) | CN114116266A | 申請(qǐng)公布日 | 2022-03-01 |
| 分類號(hào) | G06F9/54（2006.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王振乾;朱輝;張濤;薛延波;趙鵬 | 申請(qǐng)（專利權(quán)）人 | 北京華品博睿網(wǎng)絡(luò)技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 北京君泊知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 王程遠(yuǎn) |
| 地址 | 100028北京市朝陽區(qū)太陽宮中路16號(hào)院1號(hào)樓18層1801內(nèi)09 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明實(shí)施例公開了一種基于流計(jì)算自動(dòng)化拆分消息的方法，包括：在Apache Flink拆分引擎中，根據(jù)mvel表達(dá)式判斷每條數(shù)據(jù)符合哪一個(gè)分流規(guī)則，可以拆分到哪一個(gè)topic隊(duì)列中去，就將一個(gè)QPS很高的源topic，分流到多個(gè)不同的topic隊(duì)列中去，從而完成自動(dòng)化拆分消息的功能。本發(fā)明實(shí)施例還公開了一種基于流計(jì)算自動(dòng)化拆分消息的系統(tǒng)。本發(fā)明解決了消費(fèi)無效數(shù)據(jù)，集群負(fù)載很高的問題，使消費(fèi)者直接讀取拆分后的topic，而不是讀取本消息隊(duì)列，降低了集群的負(fù)載；下游程序無需要讀取大量無效數(shù)據(jù)，可以降低下游處理程序使用的資源；并且用戶可以根據(jù)需求配置拆分規(guī)則，靈活性強(qiáng)，擴(kuò)展性好。 |
