一種基于“用歸并算法計算一對一join、一對多join”的對位分段并行方法

基本信息

申請?zhí)?/td> CN201710950911.4 申請日 -
公開（公告）號 CN107657050A 公開（公告）日 2018-02-02
申請公布號 CN107657050A 申請公布日 2018-02-02
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 蔣步星 申請（專利權(quán)）人 北京潤乾信息系統(tǒng)技術(shù)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100085 北京市海淀區(qū)上地四街8號華成大廈501
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于“用歸并算法計算一對一join、一對多join”的對位分段并行方法。把數(shù)據(jù)集A平均分成N段，分完段以后把每段的第一條記錄的主鍵鍵值讀出來，與數(shù)據(jù)集A對應(yīng)的數(shù)據(jù)集B也得分段，根據(jù)數(shù)據(jù)集A中每段的第一條記錄的主鍵鍵值用二分法找到數(shù)據(jù)集B中對應(yīng)的每段第一條記錄的關(guān)聯(lián)鍵鍵值。找到數(shù)據(jù)集B中的每一段的起始點(diǎn)以后，對數(shù)據(jù)集B按起始點(diǎn)進(jìn)行分段；每個線程分別單獨(dú)用歸并算法計算一對一join同維數(shù)據(jù)集A和B分的每一個對應(yīng)關(guān)聯(lián)的段，數(shù)據(jù)集A和B分的段在計算時只需要各自遍歷一次，計算完以后的合并數(shù)據(jù)集為C，最后再把這些分段計算后的合并數(shù)據(jù)集C組成最終的數(shù)據(jù)集D，然后就可以在數(shù)據(jù)集D中引用需要的記錄了。