一種實現混合數據分析的大數據處理方法

基本信息

申請?zhí)?/td> CN202110598362.5 申請日 -
公開（公告）號 CN113342790A 公開（公告）日 2021-09-03
申請公布號 CN113342790A 申請公布日 2021-09-03
分類號 G06F16/215（2019.01）I;G06F16/26（2019.01）I;G06F16/27（2019.01）I;G06F16/904（2019.01）I;G06F16/906（2019.01）I 分類 計算；推算；計數;
發(fā)明人 駱嘯宇;鄭理 申請（專利權）人 重慶大數據人工智能創(chuàng)新中心有限公司
代理機構 北京挺立專利事務所（普通合伙） 代理人 賈楠楠
地址 400052重慶市九龍坡區(qū)西彭鎮(zhèn)西竹路2棟33號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種實現混合數據分析的大數據處理方法，通過在數據預處理單元中設置數據清洗模塊，數據清洗模塊又包括遺漏數據處理、噪聲數據處理和不一致數據處理三個不同子模塊，遺漏數據處理子模塊基于同類別均值進行遺漏值填補，噪聲數據處理子模塊可通過聚類分析方法幫助發(fā)現異常數據，不一致數據處理子模塊能夠自動查出數據庫中岀現記錄內容不一致的數據，通過上述數據清洗預處理，能夠將混合數據中的大多數異常數據清洗掉，從而為后續(xù)大數據處理和分析數據內容提供可靠數據來源，提高數據處理的準確度，提高用戶使用體驗以及為企業(yè)經營決策提供更準確和更可靠的參照信息。