數(shù)據(jù)去重方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011437631.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN112597138A | 公開(kāi)（公告）日 | 2021-04-02 |
| 申請(qǐng)公布號(hào) | CN112597138A | 申請(qǐng)公布日 | 2021-04-02 |
| 分類(lèi)號(hào) | G06F16/215(2019.01)I;G06F11/30(2006.01)I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王秀雙;馬旭東;趙玉紅;李良敏;趙春波 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 浙江巖華文化科技有限公司 |
| 代理機(jī)構(gòu) | 杭州華進(jìn)聯(lián)浙知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 范麗霞 |
| 地址 | 313200浙江省湖州市德清縣舞陽(yáng)街道塔山街901號(hào)1幢101室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本申請(qǐng)涉及一種數(shù)據(jù)去重方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，該數(shù)據(jù)去重方法包括：獲取預(yù)處理后的日志數(shù)據(jù)，日志數(shù)據(jù)攜帶有去重標(biāo)識(shí)；去重標(biāo)識(shí)基于預(yù)設(shè)壓縮規(guī)則以及預(yù)設(shè)時(shí)間戳提取規(guī)則對(duì)日志數(shù)據(jù)進(jìn)行預(yù)處理得到；預(yù)設(shè)壓縮規(guī)則至少包括哈希算法；解析日志數(shù)據(jù)，并提取日志數(shù)據(jù)對(duì)應(yīng)的去重標(biāo)識(shí)；判斷去重標(biāo)識(shí)是否存儲(chǔ)在數(shù)據(jù)庫(kù)中；若去重標(biāo)識(shí)存儲(chǔ)在數(shù)據(jù)庫(kù)中，則基于去重標(biāo)識(shí)清除獲取到的日志數(shù)據(jù)，或者，基于去重標(biāo)識(shí)清除所述數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)。通過(guò)本申請(qǐng)，解決了相關(guān)技術(shù)中去重效率低的問(wèn)題。?? |
