大數(shù)據(jù)的訂單去重方法和裝置

基本信息

申請?zhí)?/td> CN202110027862.3 申請日 -
公開（公告）號 CN113377812A 公開（公告）日 2021-09-10
申請公布號 CN113377812A 申請公布日 2021-09-10
分類號 G06F16/2455（2019.01）I;G06F16/16（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 唐明;譚吉湘;楊陸;王曉宇 申請（專利權(quán)）人 北京數(shù)衍科技有限公司
代理機(jī)構(gòu) 北京超凡宏宇專利代理事務(wù)所（特殊普通合伙） 代理人 徐麗
地址 100000北京市朝陽區(qū)利澤中二路2號B座五層510室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了大數(shù)據(jù)的訂單去重方法和裝置，應(yīng)用于服務(wù)器，包括：接收客戶端發(fā)送的訂單信息，訂單信息包括關(guān)鍵字段、賬單文件名和訂單數(shù)據(jù)；根據(jù)關(guān)鍵字段判斷緩存中是否存在布隆過濾器；如果不存在，則加載布隆過濾器；如果存在，則判斷賬單文件名是否存在于布隆過濾器中；如果不存在，則將訂單數(shù)據(jù)存儲到數(shù)據(jù)庫和緩存中，并且將賬單文件名添加到布隆過濾器中；如果存在，則通過緩存和數(shù)據(jù)庫對賬單文件名進(jìn)行確認(rèn)，得到確認(rèn)結(jié)果；其中，關(guān)鍵字段包括硬件標(biāo)識和銷售時(shí)間，可以通過布隆過濾器減少內(nèi)存占用，并且達(dá)到高效的去重?cái)?shù)據(jù)的目的。