一種冷熱數(shù)據(jù)分離方法、裝置及其設(shè)備

基本信息

申請(qǐng)?zhí)?/td> CN202110328334.1 申請(qǐng)日 -
公開（公告）號(hào) CN113051271A 公開（公告）日 2021-06-29
申請(qǐng)公布號(hào) CN113051271A 申請(qǐng)公布日 2021-06-29
分類號(hào) G06F16/22;G06F16/28;G06F9/54 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 高文浩;李濤 申請(qǐng)（專利權(quán)）人 鄭州阿帕斯數(shù)云信息科技有限公司
代理機(jī)構(gòu) 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 許振新
地址 450046 河南省鄭州市鄭東新區(qū)中道東路6號(hào)創(chuàng)意島大廈A區(qū)4層401-A03號(hào)
法律狀態(tài) -

摘要

摘要 本申請(qǐng)公開了一種冷熱數(shù)據(jù)分離方法、裝置及其設(shè)備，用于解決現(xiàn)有的冷熱數(shù)據(jù)分離的處理方法不夠優(yōu)化，會(huì)耗費(fèi)大量的時(shí)間和精力的問題。所述方法包括：將目標(biāo)業(yè)務(wù)的數(shù)據(jù)寫入MySQL數(shù)據(jù)庫(kù)；在目標(biāo)業(yè)務(wù)的數(shù)據(jù)被寫入MySQL數(shù)據(jù)庫(kù)之后，將目標(biāo)業(yè)務(wù)的數(shù)據(jù)異步發(fā)送至HBASE數(shù)據(jù)庫(kù)的指定消息隊(duì)列；根據(jù)預(yù)設(shè)的冷數(shù)據(jù)定義，從MySQL數(shù)據(jù)庫(kù)中刪除目標(biāo)業(yè)務(wù)的冷數(shù)據(jù)，冷數(shù)據(jù)為目標(biāo)業(yè)務(wù)的數(shù)據(jù)中時(shí)效性需求小于設(shè)定閾值的數(shù)據(jù)，以使得MySQL數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)為時(shí)效性需求大于或等于設(shè)定閾值的熱數(shù)據(jù)；按照預(yù)設(shè)的數(shù)據(jù)格式重組從指定消息隊(duì)列中獲取的數(shù)據(jù)，得到具備指定前綴的重組數(shù)據(jù)，并將具備指定前綴的重組數(shù)據(jù)寫入HBASE數(shù)據(jù)庫(kù)，以使得HBASE數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)為目標(biāo)業(yè)務(wù)的全量數(shù)據(jù)。