一種多庫定時執(zhí)行報表數(shù)據(jù)預(yù)處理及查詢方法、系統(tǒng)

基本信息

申請?zhí)?/td> CN202110685383.0 申請日 -
公開（公告）號 CN113486096A 公開（公告）日 2021-10-08
申請公布號 CN113486096A 申請公布日 2021-10-08
分類號 G06F16/25（2019.01）I;G06F16/22（2019.01）I;G06F16/2455（2019.01）I;G06F16/215（2019.01）I;G06F16/28（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 楊九洲;焦琰杰;宋振博 申請（專利權(quán)）人 上海百秋電子商務(wù)有限公司
代理機構(gòu) 上海漢聲知識產(chǎn)權(quán)代理有限公司 代理人 胡晶
地址 200335 上海市長寧區(qū)協(xié)和路1358號B棟2層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種多庫定時執(zhí)行報表數(shù)據(jù)預(yù)處理及查詢方法、系統(tǒng)，包括：S1：設(shè)有多個MySQL數(shù)據(jù)庫，各MySQL數(shù)據(jù)庫根據(jù)不同數(shù)據(jù)源分別構(gòu)建對應(yīng)的報表數(shù)據(jù)模型，獲取最終需要展示的報表數(shù)據(jù)；S2：預(yù)先部署NoSQL數(shù)據(jù)庫；設(shè)有Logstash配置文件、Elasticsearch索引表、Redis緩存，logstash配置文件中鏈接各MySQL數(shù)據(jù)庫，通過多庫鏈接接收各報表數(shù)據(jù)模型輸出的報表數(shù)據(jù)，導(dǎo)入到所述Elasticsearch索引表中，以及寫入Redis緩存中；S3：利用Logstash配置文件執(zhí)行報表數(shù)據(jù)的定時發(fā)布，利用Elasticsearch索引表中對Redis緩存中的數(shù)據(jù)報表進(jìn)行定向查詢。本發(fā)明設(shè)置多庫定時執(zhí)行報表數(shù)據(jù)預(yù)處理后，極大的減少了查詢的數(shù)據(jù)量以及計算量，針對需要的模型，更加準(zhǔn)確的獲取數(shù)據(jù)，極大的提高了索引的命中率，使預(yù)處理的流程更簡潔更快。