基于HDFS的電子文件集中存儲(chǔ)及優(yōu)化方法

基本信息

申請(qǐng)?zhí)?/td> CN201310331429.4 申請(qǐng)日 -
公開（公告）號(hào) CN103366016B 公開（公告）日 2017-06-09
申請(qǐng)公布號(hào) CN103366016B 申請(qǐng)公布日 2017-06-09
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 石進(jìn);張辰;潘健翔 申請(qǐng)（專利權(quán)）人 江蘇南大蘇富特科技股份有限公司
代理機(jī)構(gòu) 南京瑞弘專利商標(biāo)事務(wù)所（普通合伙） 代理人 南京大學(xué);江蘇南大蘇富特科技股份有限公司
地址 210093 江蘇省南京市鼓樓區(qū)漢口路22號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于HDFS加入中間件優(yōu)化電子文件集中存儲(chǔ)的方法，通過使用存儲(chǔ)緩存和讀取緩存的策略來(lái)提高海量小文件的存儲(chǔ)和訪問效率，其中：存儲(chǔ)緩存策略的設(shè)計(jì)方法為設(shè)置多個(gè)緩沖區(qū)，存儲(chǔ)小文件時(shí)通過多個(gè)緩沖區(qū)的優(yōu)化選擇來(lái)提高緩沖區(qū)的利用率，從而減少HDFS訪問次數(shù)；讀取緩存策略的設(shè)計(jì)方法為使用buddy?system的方式管理固定大小的整個(gè)讀取緩存，并為每個(gè)分段緩存設(shè)置效率閾值，通過效率閾值來(lái)控制緩存的更新策略，最大限度提高緩存利用率，從而使訪問文件時(shí)盡可能的利用讀取緩存，減少訪問HDFS的次數(shù)。