一種流式數(shù)據(jù)處理方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN201810889376.0 申請日 -
公開（公告）號 CN109213793A 公開（公告）日 2019-01-15
申請公布號 CN109213793A 申請公布日 2019-01-15
分類號 G06F16/2455;G06F16/2458 分類 計算；推算；計數(shù);
發(fā)明人 左梅蘭;郭子森 申請（專利權）人 涇縣麥藍網(wǎng)絡技術服務有限公司
代理機構 北京國昊天誠知識產(chǎn)權代理有限公司 代理人 施敬勃
地址 242530 安徽省宣城市涇縣涇川鎮(zhèn)晏公社區(qū)慶豐組075號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種流式數(shù)據(jù)處理方法和系統(tǒng)，通過將電子商務中大量流式數(shù)據(jù)抽取流式數(shù)據(jù)的概要特征數(shù)據(jù)，建立多條處理線程，經(jīng)合概要特征數(shù)據(jù)并成多個數(shù)據(jù)集，并且對數(shù)據(jù)預先進行預處理，降低數(shù)據(jù)維度，合理計算參考數(shù)據(jù)與其他數(shù)據(jù)之間的數(shù)據(jù)相似度值，從而確定數(shù)據(jù)集中的每個數(shù)據(jù)是否具有較好的關聯(lián)度，最終確定是否保留該數(shù)據(jù)?？梢允沟迷诿鎸α魇綌?shù)據(jù)量較大且高并發(fā)訪問時，系統(tǒng)可以及時響應請求，過濾錯誤數(shù)據(jù)，詢問時間減少，傳輸性能可以得到優(yōu)化。