一種基于Hive的數(shù)據(jù)修改方法、裝置及存儲介質(zhì)
基本信息
| 申請?zhí)?/td> | CN202010501946.1 | 申請日 | - |
| 公開（公告）號 | CN111881173A | 公開（公告）日 | 2020-11-03 |
| 申請公布號 | CN111881173A | 申請公布日 | 2020-11-03 |
| 分類號 | G06F16/2458(2019.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 洪蒙納;方主升;李繼庚 | 申請（專利權(quán)）人 | 博依特（廣州）工業(yè)互聯(lián)網(wǎng)有限公司 |
| 代理機構(gòu) | 廣州三環(huán)專利商標代理有限公司 | 代理人 | 郭浩輝;麥小嬋 |
| 地址 | 510000廣東省廣州市黃埔區(qū)攬月路105號401房之自編406室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于Hive的數(shù)據(jù)修改方法、裝置及存儲介質(zhì)，該方法先獲取待錄入數(shù)據(jù)，然后根據(jù)采集時間，查詢Hive數(shù)據(jù)倉庫中是否存儲有與待錄入數(shù)據(jù)的采集時間相同的已錄入數(shù)據(jù)，如果沒有則進行數(shù)據(jù)錄入，如果有已錄入數(shù)據(jù)，則將待錄入數(shù)據(jù)與查詢到的已錄入數(shù)據(jù)劃分為同一組，并在該組數(shù)據(jù)被調(diào)用時，根據(jù)各條數(shù)據(jù)的入庫時間戳，將入庫時間最晚的數(shù)據(jù)作為該組的調(diào)用數(shù)據(jù)。采用本發(fā)明技術(shù)方案對Hive內(nèi)的每條數(shù)據(jù)進行分組管理，并引入入庫時間戳標識是否產(chǎn)生數(shù)據(jù)更新，在數(shù)據(jù)調(diào)用時能夠調(diào)用最新的數(shù)據(jù)，避免數(shù)據(jù)錯誤而導致數(shù)據(jù)調(diào)用后的計算錯誤，同時降低了修改成本，提高修改效率。?? |
