一種SparkContext的配置方法、裝置及服務端
基本信息
| 申請?zhí)?/td> | CN202011339554.6 | 申請日 | - |
| 公開（公告）號 | CN112328403A | 公開（公告）日 | 2021-02-05 |
| 申請公布號 | CN112328403A | 申請公布日 | 2021-02-05 |
| 分類號 | G06F9/50(2006.01)I; | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 張翔南;范強;凌瀛洲;馮超;王家卓 | 申請（專利權(quán)）人 | 北京中天孔明科技股份有限公司 |
| 代理機構(gòu) | 北京中政聯(lián)科專利代理事務所（普通合伙） | 代理人 | 楊友枚 |
| 地址 | 100010北京市朝陽區(qū)惠新東街甲2號樓-3至25層101內(nèi)10層1001室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種SparkContext的配置方法、服務端和系統(tǒng)，該方法包括：接收創(chuàng)建SparkContext的請求；發(fā)送第一查詢請求，所述第一查詢請求用于指示K8s查詢各個節(jié)點的剩余資源；接收第一查詢結(jié)果，所述第一查詢結(jié)果包括各個節(jié)點的剩余資源；根據(jù)所述第一查詢結(jié)果，發(fā)送創(chuàng)建命令，所述創(chuàng)建命令用于指示K8s在剩余資源最大的節(jié)點上創(chuàng)建SparkContext，重復以上過程創(chuàng)建數(shù)個可隨時接收任務的常駐SparkContext。本發(fā)明實施方式提供的SparkContext配置方法，在SparkContext出現(xiàn)故障或者意外終止的情況下，可以自動生成新的SparkContext節(jié)點，重試失敗任務，無需技術人員手動干預，節(jié)省了時間，提高了任務執(zhí)行的效率。?? |
