基于HDFS的電子文件集中存儲及優(yōu)化方法

基本信息

申請?zhí)?/td> CN201310331429.4 申請日 -
公開（公告）號 CN103366016A 公開（公告）日 2013-10-23
申請公布號 CN103366016A 申請公布日 2013-10-23
分類號 G06F17/30(2006.01)I;G06F12/08(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 石進;張辰;潘健翔 申請（專利權(quán)）人 江蘇南大蘇富特科技股份有限公司
代理機構(gòu) 南京瑞弘專利商標事務(wù)所（普通合伙） 代理人 南京大學(xué);江蘇南大蘇富特科技股份有限公司
地址 210093 江蘇省南京市鼓樓區(qū)漢口路22號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于HDFS加入中間件優(yōu)化電子文件集中存儲的方法，通過使用存儲緩存和讀取緩存的策略來提高海量小文件的存儲和訪問效率，其中：存儲緩存策略的設(shè)計方法為設(shè)置多個緩沖區(qū)，存儲小文件時通過多個緩沖區(qū)的優(yōu)化選擇來提高緩沖區(qū)的利用率，從而減少HDFS訪問次數(shù)；讀取緩存策略的設(shè)計方法為使用buddy?system的方式管理固定大小的整個讀取緩存，并為每個分段緩存設(shè)置效率閾值，通過效率閾值來控制緩存的更新策略，最大限度提高緩存利用率，從而使訪問文件時盡可能的利用讀取緩存，減少訪問HDFS的次數(shù)。