一種流式數(shù)據(jù)處理方法和系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201810889376.0 申請(qǐng)日 -
公開（公告）號(hào) CN109213793A 公開（公告）日 2019-01-15
申請(qǐng)公布號(hào) CN109213793A 申請(qǐng)公布日 2019-01-15
分類號(hào) G06F16/2455;G06F16/2458 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 左梅蘭;郭子森 申請(qǐng)（專利權(quán)）人 涇縣麥藍(lán)網(wǎng)絡(luò)技術(shù)服務(wù)有限公司
代理機(jī)構(gòu) 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 施敬勃
地址 242530 安徽省宣城市涇縣涇川鎮(zhèn)晏公社區(qū)慶豐組075號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種流式數(shù)據(jù)處理方法和系統(tǒng)，通過將電子商務(wù)中大量流式數(shù)據(jù)抽取流式數(shù)據(jù)的概要特征數(shù)據(jù)，建立多條處理線程，經(jīng)合概要特征數(shù)據(jù)并成多個(gè)數(shù)據(jù)集，并且對(duì)數(shù)據(jù)預(yù)先進(jìn)行預(yù)處理，降低數(shù)據(jù)維度，合理計(jì)算參考數(shù)據(jù)與其他數(shù)據(jù)之間的數(shù)據(jù)相似度值，從而確定數(shù)據(jù)集中的每個(gè)數(shù)據(jù)是否具有較好的關(guān)聯(lián)度，最終確定是否保留該數(shù)據(jù)。可以使得在面對(duì)流式數(shù)據(jù)量較大且高并發(fā)訪問時(shí)，系統(tǒng)可以及時(shí)響應(yīng)請(qǐng)求，過濾錯(cuò)誤數(shù)據(jù)，詢問時(shí)間減少，傳輸性能可以得到優(yōu)化。