一種特大LOB數(shù)據(jù)高并發(fā)低延遲的更新訪問方法

基本信息

申請?zhí)?/td> CN202010499819.2 申請日 -
公開（公告）號 CN111694847A 公開（公告）日 2020-09-22
申請公布號 CN111694847A 申請公布日 2020-09-22
分類號 G06F16/22(2019.01)I 分類 計算；推算；計數(shù);
發(fā)明人 冀賢亮;王效忠;劉明;何振興;蘇錦佩 申請（專利權(quán)）人 貴州易鯨捷信息技術(shù)有限公司
代理機構(gòu) 天津企興智財知識產(chǎn)權(quán)代理有限公司 代理人 馬倩倩
地址 550000貴州省貴陽市貴陽綜合保稅區(qū)都拉營綜保路349號海關(guān)大樓8樓801
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種特大LOB數(shù)據(jù)高并發(fā)低延遲的更新訪問方法，包括如下內(nèi)容：1)創(chuàng)建用戶表時，為每個LOB列創(chuàng)建至少一個HDFS文件,用于存儲LOB數(shù)據(jù)；2)針對每個LOB列，創(chuàng)建一個SQL分區(qū)表；3)當(dāng)LOB值小于等于預(yù)設(shè)的第一閥值時，分割成多行直接存儲到SQL分區(qū)表中以及相關(guān)的元信息；當(dāng)LOB值大于第一閥值時則存儲到HDFS文件中，SQL分區(qū)表則用于保存LOB數(shù)據(jù)存儲在HDFS文件中產(chǎn)生的元數(shù)據(jù)。本發(fā)明將分布式文件系統(tǒng)的高吞吐特性和分布式SQL表的低延遲以及ACID特性巧妙的結(jié)合起來，采用記錄少量Delta數(shù)據(jù)以及SQL表常駐內(nèi)存特性來提高更新的性能，并把耗時的操作比如I/O等從用戶發(fā)起的事務(wù)中剝離出來。??