一種數(shù)據(jù)清洗方法、裝置、電子設(shè)備和介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110713685.4 申請(qǐng)日 -
公開（公告）號(hào) CN113535696A 公開（公告）日 2021-10-22
申請(qǐng)公布號(hào) CN113535696A 申請(qǐng)公布日 2021-10-22
分類號(hào) G06F16/215;G06F9/50 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 羅京;潘廣進(jìn);何鵬;周禮;劉小林 申請(qǐng)（專利權(quán)）人 中國(guó)民生銀行股份有限公司
代理機(jī)構(gòu) 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 代理人 莎日娜
地址 100031 北京市西城區(qū)復(fù)興門內(nèi)大街2號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明實(shí)施例提供了一種數(shù)據(jù)清洗方法、裝置、電子設(shè)備和可讀存儲(chǔ)介質(zhì)，所述方法包括：在數(shù)據(jù)處理平臺(tái)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗之前，獲取所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)信息，獲取用戶輸入的針對(duì)所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)清洗策略，以及獲取用戶根據(jù)當(dāng)前可用集群資源分配的用于清洗所述業(yè)務(wù)數(shù)據(jù)的第一計(jì)算資源信息；根據(jù)所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)信息確定清洗所述業(yè)務(wù)數(shù)據(jù)所需分配的第二計(jì)算資源信息；根據(jù)所述數(shù)據(jù)清洗策略，從所述第一計(jì)算資源信息和所述第二計(jì)算資源信息中確定最優(yōu)計(jì)算資源信息；采用所述最優(yōu)計(jì)算資源信息申請(qǐng)集群資源后，按照所述集群資源和所述數(shù)據(jù)清洗策略對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗。根據(jù)本發(fā)明實(shí)施例，可以避免由于開發(fā)人員導(dǎo)致的計(jì)算資源預(yù)估失誤問題。