基于消息隊(duì)列的數(shù)據(jù)分片同步方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202010682331.3 申請(qǐng)日 -
公開（公告）號(hào) CN111988359A 公開（公告）日 2020-11-24
申請(qǐng)公布號(hào) CN111988359A 申請(qǐng)公布日 2020-11-24
分類號(hào) H04L29/08(2006.01)I;G06F3/06(2006.01)I 分類 電通信技術(shù);
發(fā)明人 尚德重;焦臻楨;丁慧;田銳 申請(qǐng)（專利權(quán)）人 中科物緣科技（杭州）有限公司
代理機(jī)構(gòu) 杭州九洲專利事務(wù)所有限公司 代理人 中科物緣科技（杭州）有限公司;中國(guó)科學(xué)院計(jì)算技術(shù)研究所數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)研究院
地址 310015浙江省杭州市拱墅區(qū)儲(chǔ)鑫路17-1號(hào)5號(hào)樓319室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于消息隊(duì)列的數(shù)據(jù)分片同步方法及系統(tǒng)。本發(fā)明的目的是提供一種基于消息隊(duì)列的數(shù)據(jù)分片同步方法及系統(tǒng)，以解決在數(shù)據(jù)同步過程中，數(shù)據(jù)節(jié)點(diǎn)失效和數(shù)據(jù)節(jié)點(diǎn)作惡所帶來的數(shù)據(jù)不一致的問題。本發(fā)明的技術(shù)方案是：S1、管理節(jié)點(diǎn)獲取各數(shù)據(jù)節(jié)點(diǎn)發(fā)送的當(dāng)前數(shù)據(jù)節(jié)點(diǎn)已消費(fèi)消息隊(duì)列的消息序號(hào)M1；S2、管理節(jié)點(diǎn)將各數(shù)據(jù)節(jié)點(diǎn)已消費(fèi)消息隊(duì)列的消息序號(hào)M1中最大的消息序號(hào)作為選定的消息序號(hào)N；S3、數(shù)據(jù)節(jié)點(diǎn)在N>M1時(shí)，繼續(xù)消費(fèi)消息隊(duì)列，直到本地消費(fèi)的消息隊(duì)列消息序號(hào)為N后停止消費(fèi)；S4、管理節(jié)點(diǎn)獲取各數(shù)據(jù)節(jié)點(diǎn)發(fā)送的當(dāng)前數(shù)據(jù)節(jié)點(diǎn)已消費(fèi)消息隊(duì)列的消息序號(hào)M2和當(dāng)前數(shù)據(jù)節(jié)點(diǎn)持有的每個(gè)數(shù)據(jù)分片的HASH值。本發(fā)明適用于數(shù)據(jù)存儲(chǔ)領(lǐng)域。??