一種數(shù)據(jù)處理方法、裝置及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201210046932.0 申請(qǐng)日 -
公開（公告）號(hào) CN103294702A 公開（公告）日 2013-09-11
申請(qǐng)公布號(hào) CN103294702A 申請(qǐng)公布日 2013-09-11
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李晨;馬向暉 申請(qǐng)（專利權(quán)）人 上海淼云文化傳播有限公司
代理機(jī)構(gòu) 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 代理人 上海淼云文化傳播有限公司
地址 200072 上海市閘北區(qū)廣中西路777弄55號(hào)1509-1510室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種數(shù)據(jù)處理方法、裝置及系統(tǒng)，所述方法包括對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行hash算法計(jì)算，得出所述待存儲(chǔ)數(shù)據(jù)的關(guān)鍵值；在預(yù)先設(shè)定的數(shù)據(jù)集合中查找是否含有與所述關(guān)鍵值相匹配的關(guān)鍵值，如果是，舍去所述待存儲(chǔ)數(shù)據(jù)，如果否，將所述待存儲(chǔ)數(shù)據(jù)以列式存儲(chǔ)方法進(jìn)行存儲(chǔ)，并將所述待存儲(chǔ)數(shù)據(jù)的關(guān)鍵值存儲(chǔ)至所述數(shù)據(jù)集合中。通過本發(fā)明提供的一種數(shù)據(jù)處理方法、裝置或系統(tǒng)實(shí)施例，在對(duì)待存儲(chǔ)數(shù)據(jù)以列式存儲(chǔ)方法進(jìn)行存儲(chǔ)之前先進(jìn)行hash計(jì)算，依據(jù)得出的關(guān)鍵值對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行去重處理，從而在進(jìn)行海量數(shù)據(jù)處理時(shí)避免數(shù)據(jù)的冗余現(xiàn)象，避免了存儲(chǔ)空間的浪費(fèi)。