一種基于SparkStreaming的動(dòng)態(tài)更新共享數(shù)據(jù)方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110043173.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN112559227A | 公開(kāi)（公告）日 | 2021-03-26 |
| 申請(qǐng)公布號(hào) | CN112559227A | 申請(qǐng)公布日 | 2021-03-26 |
| 分類(lèi)號(hào) | G06F16/2455(2019.01)I;G06F9/54(2006.01)I;G06F8/656(2018.01)I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 齊博 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 貴州省廣播電視信息網(wǎng)絡(luò)股份有限公司 |
| 代理機(jī)構(gòu) | 貴州啟辰知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 趙彥棟;葛歆瑋 |
| 地址 | 550081貴州省貴陽(yáng)市觀山湖區(qū)金陽(yáng)南路36號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種基于Spark Streaming的動(dòng)態(tài)更新共享數(shù)據(jù)方法，就Spark而言，大變量都會(huì)由Driver端來(lái)進(jìn)行分發(fā)，這個(gè)大變量如果不是廣播變量，那每一個(gè)task就會(huì)分發(fā)一份出來(lái)，這在task數(shù)目在十分多的情況下Driver端的帶寬就會(huì)成為系統(tǒng)瓶頸，而且還會(huì)大量消耗task服務(wù)器的資源，我們?nèi)绻麑⑦@個(gè)變量聲明為廣播變量，那么每個(gè)executor都會(huì)擁有一份，這個(gè)executor啟動(dòng)的task會(huì)共享變量，節(jié)省了通信的成本和服務(wù)器的資源。而在更需要資源的Spark Streaming中，廣播變量無(wú)非是將大變量傳遞給executor端最好的選擇，但是流式程序啟動(dòng)之后無(wú)法在進(jìn)行更新廣播變量，優(yōu)勢(shì)在于，不需要重啟程序則完成動(dòng)態(tài)的更新，解決生產(chǎn)線(xiàn)上需要重啟的弊端。?? |
