一種基于SparkStreaming的動態(tài)更新共享數據方法

基本信息

申請?zhí)?/td> CN202110043173.1 申請日 -
公開（公告）號 CN112559227A 公開（公告）日 2021-03-26
申請公布號 CN112559227A 申請公布日 2021-03-26
分類號 G06F16/2455(2019.01)I;G06F9/54(2006.01)I;G06F8/656(2018.01)I 分類 計算；推算；計數;
發(fā)明人 齊博 申請（專利權）人 貴州省廣播電視信息網絡股份有限公司
代理機構 貴州啟辰知識產權代理有限公司 代理人 趙彥棟;葛歆瑋
地址 550081貴州省貴陽市觀山湖區(qū)金陽南路36號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Spark Streaming的動態(tài)更新共享數據方法，就Spark而言，大變量都會由Driver端來進行分發(fā)，這個大變量如果不是廣播變量，那每一個task就會分發(fā)一份出來，這在task數目在十分多的情況下Driver端的帶寬就會成為系統瓶頸，而且還會大量消耗task服務器的資源，我們如果將這個變量聲明為廣播變量，那么每個executor都會擁有一份，這個executor啟動的task會共享變量，節(jié)省了通信的成本和服務器的資源。而在更需要資源的Spark Streaming中，廣播變量無非是將大變量傳遞給executor端最好的選擇，但是流式程序啟動之后無法在進行更新廣播變量，優(yōu)勢在于，不需要重啟程序則完成動態(tài)的更新，解決生產線上需要重啟的弊端。??