一種基于云原生架構(gòu)的大數(shù)據(jù)流處理方法和裝置
基本信息
| 申請?zhí)?/td> | CN202010734377.5 | 申請日 | - |
| 公開（公告）號 | CN111880899A | 公開（公告）日 | 2020-11-03 |
| 申請公布號 | CN111880899A | 申請公布日 | 2020-11-03 |
| 分類號 | G06F9/455(2006.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 商子豪;曲茂強;薛愛梅;張春濤;葛亮 | 申請（專利權(quán)）人 | 山東迪特智聯(lián)信息科技有限責(zé)任公司 |
| 代理機構(gòu) | 濟南竹森知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 呂利敏 |
| 地址 | 250000山東省濟南市歷下區(qū)漿水泉路16號卓越時代廣場一號樓1109 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明的實施例公開了一種基于云原生架構(gòu)的大數(shù)據(jù)流處理方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及大數(shù)據(jù)流處理技術(shù)領(lǐng)域，用于避免大數(shù)據(jù)流處理任務(wù)執(zhí)行的資源占用及插件沖突，提高平臺運行安全性和穩(wěn)定性。所述方法包括：接收服務(wù)器發(fā)送的大數(shù)據(jù)流處理任務(wù)，該任務(wù)中包含所需的插件鏡像信息、Git倉庫地址信息、輸入和輸出信息；通知Docker Engine從鏡像倉庫拉取并運行相應(yīng)的插件鏡像，使插件開始運行；插件運行后訪問Git倉庫，獲取任務(wù)上下文數(shù)據(jù)；插件從數(shù)據(jù)源獲取數(shù)據(jù)并進行數(shù)據(jù)處理，處理完畢后將任務(wù)處理結(jié)果和日志信息記錄到Git倉庫中并更新任務(wù)上下文數(shù)據(jù)；通知服務(wù)器任務(wù)已執(zhí)行完成，并通知Docker Engine銷毀運行的插件實例，釋放占用的資源。?? |
