一種基于列存數(shù)據(jù)庫對海量數(shù)據(jù)進行高效的批量更新方法

基本信息

申請?zhí)?/td> CN201910789871.9 申請日 -
公開（公告）號 CN110515950A 公開（公告）日 2019-11-29
申請公布號 CN110515950A 申請公布日 2019-11-29
分類號 G06F16/22;G06F16/28;G06F16/23;G06F16/2455 分類 計算；推算；計數(shù);
發(fā)明人 趙偉;張海亮 申請（專利權(quán)）人 江蘇華庫數(shù)據(jù)技術(shù)有限公司
代理機構(gòu) - 代理人 -
地址 210000 江蘇省南京市建鄴區(qū)奧體大街69號1幢20層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于列存數(shù)據(jù)庫中對海量數(shù)據(jù)進行高效的批量更新方法，包括如下步驟：首先將每列的數(shù)據(jù)被切分成多個存儲單元，每個存儲單元中包含多個block；定義block的命中狀態(tài)為未命中、部分命中、全命中，更新時查詢block的命中狀態(tài)，若未命中，說明當前block完全沒有需要更新的內(nèi)容，若部分命中，說明該block有部分需要更新的內(nèi)容，若全命中，說明該block的內(nèi)容需要全部更新，再寫入目標存儲單元；進行下一個block更新，有新的內(nèi)容更新時重復之前的步驟，沒有新的內(nèi)容更新時更新內(nèi)容即可結(jié)束。此方法保證數(shù)據(jù)存儲單元的連續(xù)性；杜絕了磁盤空間的浪費，海量數(shù)據(jù)的更新操作也不會造成數(shù)據(jù)膨脹。