海量小文件系統(tǒng)的大空間聚合存儲(chǔ)技術(shù)研究與實(shí)現(xiàn).pdf

1、傳統(tǒng)主從分布式文件系統(tǒng)在處理海量小文件數(shù)據(jù)時(shí)遇到元數(shù)據(jù)空間受限、數(shù)據(jù)節(jié)點(diǎn)效率低下、網(wǎng)絡(luò)資源利用率低等問題。為此，有學(xué)者提出小文件聚合存儲(chǔ)模型，提高系統(tǒng)對(duì)海量小文件數(shù)據(jù)的支持能力。但現(xiàn)有小文件聚合存儲(chǔ)模型的聚合效果受目錄結(jié)構(gòu)影響，不能有效支持任意目錄結(jié)構(gòu)的海量小文件數(shù)據(jù)。
　　論文在現(xiàn)有研究成果的基礎(chǔ)上，基于大空間聚合、細(xì)粒度管理的思想，提出大空間聚合存儲(chǔ)模型。將聚合單位擴(kuò)展到原始目錄結(jié)構(gòu)中的一棵子樹，并將該子樹上的所有文件和目錄一

2、起聚合。同時(shí)，以空間元數(shù)據(jù)簇為單位分布和管理小文件元數(shù)據(jù)信息，對(duì)于過大的空間元數(shù)據(jù)簇進(jìn)行動(dòng)態(tài)分裂，從而提高小文件元數(shù)據(jù)管理效率。此外，基于跳表結(jié)構(gòu)設(shè)計(jì)了一套松散的元數(shù)據(jù)組織方式，簡化空間元數(shù)據(jù)簇分裂過程并通過優(yōu)先標(biāo)記目錄節(jié)點(diǎn)的方式優(yōu)化分裂算法。同時(shí)，論文還討論了分布式元數(shù)據(jù)管理的一致性問題。
　　在 HDFS之上，基于大空間聚合存儲(chǔ)模型實(shí)現(xiàn)了一套海量小文件系統(tǒng)SMDFS2.0，并通過多級(jí)緩存機(jī)制、迭代訪問模式等機(jī)制優(yōu)化小文件數(shù)據(jù)讀