一種批處理數(shù)據(jù)分片方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110161596.3 申請日 -
公開（公告）號 CN112988343A 公開（公告）日 2021-06-18
申請公布號 CN112988343A 申請公布日 2021-06-18
分類號 G06F9/48;G06F9/50;G06F9/54;G06F16/2455 分類 計算；推算；計數(shù);
發(fā)明人 劉勝平;崔俊榮;韓美榮 申請（專利權(quán)）人 開店寶科技集團有限公司
代理機構(gòu) 上海碩力知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 楊用玲
地址 201210 上海市浦東新區(qū)中國（上海）自由貿(mào)易試驗區(qū)張江路665號3層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種批處理數(shù)據(jù)分片方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)，其方法包括步驟：在客戶端啟動時，注冊服務(wù)到Zookeeper；接收所述Zookeeper對新注冊的消息發(fā)送的廣播；查詢所述Zookeeper更新后的節(jié)點列表；獲得所述客戶端對應(yīng)的節(jié)點在所述節(jié)點列表中的當(dāng)前排序位置，以及總注冊數(shù)量；根據(jù)所述當(dāng)前排序位置以及所述總注冊數(shù)量，計算獲得所述客戶端對應(yīng)的分片系數(shù)。該方案通過Zookeeper，能夠?qū)崿F(xiàn)批處理數(shù)據(jù)分片的動態(tài)、實時擴容，從而能夠提高批處理任務(wù)的執(zhí)行效率，有利于降低開發(fā)接入成本和開發(fā)難度。