海量數(shù)據(jù)存儲方法及海量數(shù)據(jù)存儲系統(tǒng)

基本信息

申請?zhí)?/td> CN201710947918.0 申請日 -
公開（公告）號 CN108304438A 公開（公告）日 2018-07-20
申請公布號 CN108304438A 申請公布日 2018-07-20
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 曾勇;許毅文;鄭雄威;張紅衛(wèi) 申請（專利權(quán)）人 深圳市天下房倉科技有限公司
代理機構(gòu) 深圳國新南方知識產(chǎn)權(quán)代理有限公司 代理人 深圳市天下房倉科技有限公司
地址 518000 廣東省深圳市龍華新區(qū)創(chuàng)業(yè)花園188棟向榮商務(wù)大廈1106(民治交警中隊旁)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種海量數(shù)據(jù)存儲方法及海量數(shù)據(jù)存儲系統(tǒng)，其中，該方法包括：主MQ集群接收外部發(fā)送的待存儲數(shù)據(jù)，并將待存儲數(shù)據(jù)交互給比較模塊；比較模塊判斷緩存集群是否存在待存儲數(shù)據(jù)；若緩存集群中存在待存儲數(shù)據(jù)，則比較模塊不處理待存儲數(shù)據(jù)；若緩存集群中不存在待存儲數(shù)據(jù)，則比較模塊將待存儲數(shù)據(jù)發(fā)送至數(shù)據(jù)庫和緩存集群進行同步存儲。本發(fā)明先將外部接收到的數(shù)據(jù)存儲至主MQ集群，因此，通過這種異步方式減輕了數(shù)據(jù)庫的入庫壓力。此外，比較模塊判定當前待存儲數(shù)據(jù)屬于新的數(shù)據(jù)時，才將其存儲至數(shù)據(jù)庫，從而提升了數(shù)據(jù)庫的數(shù)據(jù)有效存儲率。進一步，相同的數(shù)據(jù)不進行處理，則提升了數(shù)據(jù)的處理速率。