基于hdfs的準(zhǔn)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201610336812.2 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN106021491B | 公開(kāi)（公告）日 | 2019-10-08 |
| 申請(qǐng)公布號(hào) | CN106021491B | 申請(qǐng)公布日 | 2019-10-08 |
| 分類(lèi)號(hào) | G06F16/182;G06F16/172 | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 吳廣學(xué) | 申請(qǐng)（專(zhuān)利權(quán)）人 | 天津海量信息技術(shù)股份有限公司 |
| 代理機(jī)構(gòu) | 天津市尚文知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 天津海量信息技術(shù)股份有限公司 |
| 地址 | 300020 天津市和平區(qū)南馬路11號(hào)麥購(gòu)國(guó)際大廈23層 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 一種基于hdfs的準(zhǔn)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)方法，由客戶(hù)端、本地文件系統(tǒng)、hdfs和hbase實(shí)現(xiàn)，在收到消息后，先將消息序列化并壓縮后作為小文件順序存儲(chǔ)到本地文件系統(tǒng)，在小文件的絕對(duì)位置確定后，重新計(jì)算小文件的相對(duì)位置以追加為一個(gè)大文件來(lái)保證文件的完整性，且大文件依然可分割，然后異步追加小文件到hdfs中，從而在保證數(shù)據(jù)可靠性和吞吐量的同時(shí)，能夠?qū)?shù)據(jù)進(jìn)行準(zhǔn)實(shí)時(shí)的隨機(jī)讀取，提高了數(shù)據(jù)的查詢(xún)速度。 |
