一種數(shù)據(jù)流量控制方法、系統(tǒng)及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202111182206.7 申請日 -
公開（公告）號 CN113810307A 公開（公告）日 2021-12-17
申請公布號 CN113810307A 申請公布日 2021-12-17
分類號 H04L12/819;H04L12/801 分類 電通信技術(shù);
發(fā)明人 倪浩育;劉暢 申請（專利權(quán)）人 上海微盟企業(yè)發(fā)展有限公司
代理機(jī)構(gòu) 北京集佳知識產(chǎn)權(quán)代理有限公司 代理人 姚瑩麗
地址 200441 上海市寶山區(qū)長江路258號3幢B1-8008室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種數(shù)據(jù)流量控制方法，包括：接收模塊接收Kafka隊(duì)列發(fā)送的Binlog數(shù)據(jù)，并將Binlog數(shù)據(jù)發(fā)送至限流模塊；限流模塊按預(yù)設(shè)流量向Kafka下游裝置發(fā)送Binlog數(shù)據(jù)，并將超出預(yù)設(shè)流量的Binlog數(shù)據(jù)發(fā)送至等待隊(duì)列；監(jiān)聽模塊周期性地將等待隊(duì)列中的Binlog數(shù)據(jù)提取至限流模塊進(jìn)行重新發(fā)送。本發(fā)明通過延長突發(fā)流量在Kakfa隊(duì)列中的傳輸路徑長度及等待時(shí)間的方式實(shí)現(xiàn)對突發(fā)流量的緩沖，有效避免突發(fā)流量對Kafka隊(duì)列的阻塞，進(jìn)而提升了數(shù)據(jù)處理系統(tǒng)整體的數(shù)據(jù)處理效率。本發(fā)明還提供一種數(shù)據(jù)流量控制系統(tǒng)及存儲介質(zhì)，具有上述有益效果。