一種數(shù)據(jù)處理方法、裝置及電子設備

基本信息

申請?zhí)?/td> CN202110647840.7 申請日 -
公開(公告)號 CN113516506A 公開(公告)日 2021-10-19
申請公布號 CN113516506A 申請公布日 2021-10-19
分類號 G06Q30/02(2012.01)I;G06F16/22(2019.01)I;G06F16/2458(2019.01)I 分類 計算;推算;計數(shù);
發(fā)明人 汪凱;于為建;王志偉;李成;孫遷 申請(專利權)人 深圳市云網(wǎng)萬店科技有限公司
代理機構 北京市萬慧達律師事務所 代理人 劉艷麗
地址 518002廣東省深圳市羅湖區(qū)東門街道城東社區(qū)深南東路2028號羅湖商務中心3510-130單元
法律狀態(tài) -

摘要

摘要 本申請公開了一種數(shù)據(jù)處理方法、裝置及電子設備,方法包括獲取第一待處理數(shù)據(jù)集及第二待處理數(shù)據(jù)集,所述第一待處理數(shù)據(jù)集包括多個第一待處理數(shù)據(jù),所述第二待處理數(shù)據(jù)集包括多個第二待處理數(shù)據(jù);根據(jù)分別包括的所述目標字段對應的字段值確定所述第一待處理數(shù)據(jù)及所述第二待處理數(shù)據(jù)分別對應的桶;根據(jù)對應的所述第一待處理數(shù)據(jù)生成所述桶對應的第一位圖并根據(jù)對應的所述第二待處理數(shù)據(jù)生成所述桶對應的第二位圖;對每一所述桶對應的第一位圖及所述對應的第二位圖進行集合運算,生成目標計算結果,避免了集合計算時存在關聯(lián)的數(shù)據(jù)被分配在不同的桶里時會導致集合計算時還需要從其他桶中獲取數(shù)據(jù)導致觸發(fā)Shuffle的問題。