一種網(wǎng)絡(luò)環(huán)境下email大數(shù)據(jù)的預(yù)處理系統(tǒng)及方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201810796149.3 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN109241007A | 公開（公告）日 | 2019-01-18 |
| 申請(qǐng)公布號(hào) | CN109241007A | 申請(qǐng)公布日 | 2019-01-18 |
| 分類號(hào) | G06F16/172;G06F16/182 | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王紅升;趙杰;邢波;李小江 | 申請(qǐng)（專利權(quán)）人 | 北京億賽通網(wǎng)絡(luò)安全技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 北京天悅專利代理事務(wù)所（普通合伙） | 代理人 | 北京億賽通網(wǎng)絡(luò)安全技術(shù)有限公司 |
| 地址 | 100085 北京市海淀區(qū)西二旗大街39號(hào)A座三、四層 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種網(wǎng)絡(luò)環(huán)境下email大數(shù)據(jù)的預(yù)處理系統(tǒng)及方法，系統(tǒng)包括：第一服務(wù)器集群、第二服務(wù)器集群、第三服務(wù)器集群、緩存數(shù)據(jù)庫集群、消息隊(duì)列集群、分布式文件存儲(chǔ)集群和分布式存儲(chǔ)集群。本發(fā)明所提供的系統(tǒng)及方法，通過消息隊(duì)列傳遞數(shù)據(jù)，減少了因數(shù)據(jù)落地而帶來的輸入輸出，同時(shí)降低了各系統(tǒng)之間的耦合；結(jié)構(gòu)化數(shù)據(jù)和全文數(shù)據(jù)單獨(dú)緩存，避免了不需要進(jìn)行合并的全文數(shù)據(jù)在合并處理過程中的無用傳遞，降低結(jié)構(gòu)化數(shù)據(jù)合并涉及的各個(gè)環(huán)節(jié)的壓力；通過預(yù)處理降低了入庫的壓力和查詢壓力，同時(shí)保證了數(shù)據(jù)的一致性和完整性。 |
