大數(shù)據(jù)異常點檢測方法及其系統(tǒng)

基本信息

申請?zhí)?/td> CN201710302132.3 申請日 -
公開（公告）號 CN107122475A 公開（公告）日 2017-09-01
申請公布號 CN107122475A 申請公布日 2017-09-01
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 江有歸;封雷;劉東升 申請（專利權(quán)）人 杭州泰一指尚科技有限公司
代理機構(gòu) 北京科家知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 杭州泰一指尚科技有限公司
地址 310051 浙江省杭州市濱江區(qū)西興街道阡陌路482號A樓16層1601室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種大數(shù)據(jù)異常點檢測方法。所述方法包括計算高維數(shù)據(jù)的維度屬性權(quán)重，所述高維數(shù)據(jù)具有若干維度屬性；移除所述維度屬性權(quán)重低于第一預(yù)定閾值的維度屬性；在所述高維數(shù)據(jù)組成的數(shù)據(jù)集中，使用標(biāo)準(zhǔn)切塊劃分所述數(shù)據(jù)集，獲得與數(shù)據(jù)分布相關(guān)的劃分結(jié)果；將所述高維數(shù)據(jù)投射到二維平面，獲得與所述劃分結(jié)果對應(yīng)的二維平面區(qū)塊；在所述二維平面區(qū)塊的數(shù)據(jù)密度大于第二預(yù)定閾值時，確定為正常區(qū)塊；計算不屬于所述正常區(qū)塊的高維數(shù)據(jù)的角度方差因子；在所述角度方差因子大于第三預(yù)定閾值時，標(biāo)記所述高維數(shù)據(jù)為異常數(shù)據(jù)。本發(fā)明還公開了一種大數(shù)據(jù)異常點檢測系統(tǒng)。解決了現(xiàn)有技術(shù)中數(shù)據(jù)異常點檢測效果不佳的問題。