一種基于Hive的數(shù)據(jù)修改方法、裝置及存儲(chǔ)介質(zhì)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010501946.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111881173A | 公開(kāi)（公告）日 | 2020-11-03 |
| 申請(qǐng)公布號(hào) | CN111881173A | 申請(qǐng)公布日 | 2020-11-03 |
| 分類(lèi)號(hào) | G06F16/2458(2019.01)I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 洪蒙納;方主升;李繼庚 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 博依特（廣州）工業(yè)互聯(lián)網(wǎng)有限公司 |
| 代理機(jī)構(gòu) | 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 | 代理人 | 郭浩輝;麥小嬋 |
| 地址 | 510000廣東省廣州市黃埔區(qū)攬?jiān)侣?05號(hào)401房之自編406室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種基于Hive的數(shù)據(jù)修改方法、裝置及存儲(chǔ)介質(zhì)，該方法先獲取待錄入數(shù)據(jù)，然后根據(jù)采集時(shí)間，查詢(xún)Hive數(shù)據(jù)倉(cāng)庫(kù)中是否存儲(chǔ)有與待錄入數(shù)據(jù)的采集時(shí)間相同的已錄入數(shù)據(jù)，如果沒(méi)有則進(jìn)行數(shù)據(jù)錄入，如果有已錄入數(shù)據(jù)，則將待錄入數(shù)據(jù)與查詢(xún)到的已錄入數(shù)據(jù)劃分為同一組，并在該組數(shù)據(jù)被調(diào)用時(shí)，根據(jù)各條數(shù)據(jù)的入庫(kù)時(shí)間戳，將入庫(kù)時(shí)間最晚的數(shù)據(jù)作為該組的調(diào)用數(shù)據(jù)。采用本發(fā)明技術(shù)方案對(duì)Hive內(nèi)的每條數(shù)據(jù)進(jìn)行分組管理，并引入入庫(kù)時(shí)間戳標(biāo)識(shí)是否產(chǎn)生數(shù)據(jù)更新，在數(shù)據(jù)調(diào)用時(shí)能夠調(diào)用最新的數(shù)據(jù)，避免數(shù)據(jù)錯(cuò)誤而導(dǎo)致數(shù)據(jù)調(diào)用后的計(jì)算錯(cuò)誤，同時(shí)降低了修改成本，提高修改效率。?? |
