一種基于云原生架構(gòu)的大數(shù)據(jù)流處理方法和裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010734377.5 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111880899A | 公開(kāi)（公告）日 | 2020-11-03 |
| 申請(qǐng)公布號(hào) | CN111880899A | 申請(qǐng)公布日 | 2020-11-03 |
| 分類號(hào) | G06F9/455(2006.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 商子豪;曲茂強(qiáng);薛愛(ài)梅;張春濤;葛亮 | 申請(qǐng)（專利權(quán)）人 | 山東迪特智聯(lián)信息科技有限責(zé)任公司 |
| 代理機(jī)構(gòu) | 濟(jì)南竹森知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 呂利敏 |
| 地址 | 250000山東省濟(jì)南市歷下區(qū)漿水泉路16號(hào)卓越時(shí)代廣場(chǎng)一號(hào)樓1109 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明的實(shí)施例公開(kāi)了一種基于云原生架構(gòu)的大數(shù)據(jù)流處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及大數(shù)據(jù)流處理技術(shù)領(lǐng)域，用于避免大數(shù)據(jù)流處理任務(wù)執(zhí)行的資源占用及插件沖突，提高平臺(tái)運(yùn)行安全性和穩(wěn)定性。所述方法包括：接收服務(wù)器發(fā)送的大數(shù)據(jù)流處理任務(wù)，該任務(wù)中包含所需的插件鏡像信息、Git倉(cāng)庫(kù)地址信息、輸入和輸出信息；通知Docker Engine從鏡像倉(cāng)庫(kù)拉取并運(yùn)行相應(yīng)的插件鏡像，使插件開(kāi)始運(yùn)行；插件運(yùn)行后訪問(wèn)Git倉(cāng)庫(kù)，獲取任務(wù)上下文數(shù)據(jù)；插件從數(shù)據(jù)源獲取數(shù)據(jù)并進(jìn)行數(shù)據(jù)處理，處理完畢后將任務(wù)處理結(jié)果和日志信息記錄到Git倉(cāng)庫(kù)中并更新任務(wù)上下文數(shù)據(jù)；通知服務(wù)器任務(wù)已執(zhí)行完成，并通知Docker Engine銷毀運(yùn)行的插件實(shí)例，釋放占用的資源。?? |
