一種基于spark的大數(shù)據(jù)處理方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010063433.7 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN113139003A | 公開（公告）日 | 2021-07-20 |
| 申請(qǐng)公布號(hào) | CN113139003A | 申請(qǐng)公布日 | 2021-07-20 |
| 分類號(hào) | G06F16/2455（2019.01）I;G06F16/2458（2019.01）I;G06F16/27（2019.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 李方進(jìn) | 申請(qǐng)（專利權(quán)）人 | 上海靜客網(wǎng)絡(luò)科技有限公司 |
| 代理機(jī)構(gòu) | 北京挺立專利事務(wù)所（普通合伙） | 代理人 | 田黎絨 |
| 地址 | 201913上海市崇明區(qū)長(zhǎng)興鎮(zhèn)鳳濱路258號(hào)潤(rùn)豐農(nóng)貿(mào)市場(chǎng)東門16號(hào)房 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于spark的大數(shù)據(jù)處理方法，包括將數(shù)據(jù)處理結(jié)果需要進(jìn)行比對(duì)的兩方數(shù)據(jù)同時(shí)緩存至中間庫，所述兩方數(shù)據(jù)包括第一方數(shù)據(jù)和第二方數(shù)據(jù)；根據(jù)第一方數(shù)據(jù)的數(shù)量分配多個(gè)處理第一方數(shù)據(jù)的第一副線程，根據(jù)第二方數(shù)據(jù)的數(shù)量分配多個(gè)處理第二方數(shù)據(jù)的第二副線程；多個(gè)第一副線程均完成數(shù)據(jù)處理時(shí)，觸發(fā)：第一主線程對(duì)所有副線程的數(shù)據(jù)處理結(jié)果進(jìn)行收集，并生成第一方數(shù)據(jù)的處理結(jié)果；多個(gè)第二副線程均完成數(shù)據(jù)處理時(shí)，觸發(fā)：第二主線程對(duì)所有副線程的數(shù)據(jù)處理結(jié)果進(jìn)行收集，并生成第二方數(shù)據(jù)的處理結(jié)果；將第一方數(shù)據(jù)的處理結(jié)果和第二方數(shù)據(jù)的處理結(jié)果同時(shí)輸出。解決了在企業(yè)對(duì)賬中，不能輸出對(duì)賬結(jié)果的問題。 |
