一種Hadoop平臺(tái)計(jì)算節(jié)點(diǎn)負(fù)載預(yù)測方法

基本信息

申請?zhí)?/td> CN201910510953.5 申請日 -
公開（公告）號(hào) CN110149237B 公開（公告）日 2021-06-22
申請公布號(hào) CN110149237B 申請公布日 2021-06-22
分類號(hào) H04L12/24;H04L29/08 分類 電通信技術(shù);
發(fā)明人 張斌;李薇;郭軍;劉晨;侯帥;周杜凱;柳波;劉文鳳;王嘉怡;王馨悅;張婭杰;張瀚鐸 申請（專利權(quán)）人 沈陽麟龍科技股份有限公司
代理機(jī)構(gòu) 沈陽東大知識(shí)產(chǎn)權(quán)代理有限公司 代理人 劉曉嵐
地址 110819 遼寧省沈陽市和平區(qū)文化路3號(hào)巷11號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提出一種Hadoop平臺(tái)計(jì)算節(jié)點(diǎn)負(fù)載預(yù)測方法，包括：基于滑動(dòng)窗口二次檢測算法的數(shù)據(jù)預(yù)處理方法；基于ARIMA算法的節(jié)點(diǎn)負(fù)載線性預(yù)測方法；基于RNN算法的節(jié)點(diǎn)負(fù)載非線性殘差預(yù)測方法；將ARIMA算法與RNN算法預(yù)測出來的結(jié)果進(jìn)行線性相加作為最終的預(yù)測結(jié)果；本發(fā)明通過對(duì)各個(gè)結(jié)算節(jié)點(diǎn)歷史數(shù)據(jù)的分析，可以提取有價(jià)值的信息，進(jìn)而合理預(yù)測下一時(shí)間段內(nèi)的計(jì)算節(jié)點(diǎn)的負(fù)載，精確預(yù)測計(jì)算節(jié)點(diǎn)的負(fù)載可以為資源管理器合理地給AppMaster分配資源提供依據(jù)，進(jìn)而緩解高負(fù)載節(jié)點(diǎn)的壓力，提升低負(fù)載節(jié)點(diǎn)的計(jì)算資源利用率，提高Hadoop集群的可靠性和性能。本發(fā)明通過ARIMA和RNN模型組合，更加精確的對(duì)負(fù)載進(jìn)行預(yù)測。