一種基于hdfs存儲且用lucene做索引的文件存儲方法

基本信息

申請?zhí)?/td> CN202011313364.7 申請日 -
公開（公告）號 CN112231437A 公開（公告）日 2021-01-15
申請公布號 CN112231437A 申請公布日 2021-01-15
分類號 G06F16/31;G06F16/33;G06F16/182 分類 計算；推算；計數(shù);
發(fā)明人 母延年 申請（專利權(quán)）人 南京好魚科技有限公司
代理機構(gòu) 南京中軟知識產(chǎn)權(quán)代理事務(wù)所（特殊普通合伙） 代理人 鄭燕飛
地址 210000 江蘇省南京市江寧區(qū)董村路39號2幢天琪科技大廈706室（江寧開發(fā)區(qū)）
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及文件索引技術(shù)領(lǐng)域的基于hdfs存儲且用lucene做索引的文件存儲方法，包括首先，搭建索引系統(tǒng)并獲取Lucene分布式索引系統(tǒng)維護過程不斷更新產(chǎn)生的各個索引文件；然后，對獲取的各個索引文件進行篩選分類后再進行索引文件合并處理，將分散的小索引文件合并為單一索引文件；對類型為tim、tip、doc、dvd、dvm、fdx、pay以及pos的文件均合并為一個文件；將文件按照順序規(guī)則存放起來；對存放數(shù)據(jù)進行數(shù)據(jù)驗證，經(jīng)過驗證合并后的文件可以正常的讀取后進行最終存儲，至此完成文件的存儲處理本發(fā)明能夠提供一種減少文件讀寫次數(shù)、處理存儲高效且縮短操作延時的基于hdfs存儲且用lucene做索引的文件存儲方法。