基于對象存儲的文件系統(tǒng)存儲策略與機制研究.pdf

1、隨著信息技術的高速發(fā)展，業(yè)界較多采用了以集群為代表的分布式并行文件系統(tǒng)來實現(xiàn)海量數(shù)據(jù)的分布存儲及并行處理，應用領域也由計算密集型領域逐漸轉(zhuǎn)向于數(shù)據(jù)密集型領域，對存儲系統(tǒng)的I/O性能提出了巨大的挑戰(zhàn)。基于對象存儲文件系統(tǒng)通過改進的存儲體系結構，支持大并發(fā)的存儲訪問，保證了文件系統(tǒng)的高性能、高可用性，在高速集群網(wǎng)絡環(huán)境下，文件的存儲策略與元數(shù)據(jù)管理機制勢必會影響到文件讀寫效率，因而研究實現(xiàn)更加高效、合理的分布式數(shù)據(jù)存儲策略、元數(shù)據(jù)管理策略，

2、進一步提高基于對象存儲系統(tǒng)性能，使其更加適應于高性能計算領域和數(shù)據(jù)密集型領域的應用尤為重要。
　　 本文以典型的基于對象存儲的文件系統(tǒng)Lustre作為主要研究對象，具體完成以下研究工作：首先，閱讀了Lustre文件系統(tǒng)源代碼，分析其對象存儲的體系結構、特點、存儲機制等，并且通過多組實驗對對象存儲系統(tǒng)性能進行測試及分析，從而驗證了影響系統(tǒng)性能的重要因素。其次，研究了現(xiàn)有對象存儲技術中的數(shù)據(jù)存儲策略，針對現(xiàn)有對象存儲文件系統(tǒng)的存儲策

3、略并未充分考慮存儲對象本身負載的動態(tài)變化、系統(tǒng)資源利用率低的問題，論文綜合考慮影響系統(tǒng)性能的存儲對象剩余空間及I/O負載等重要負載因素的實時變化，給出了一種靈活、高效、簡單的負載均衡存儲策略，并進行了實現(xiàn)，實驗證明該策略能夠有效地避免過載節(jié)點再次分配任務，從而有效地均衡系統(tǒng)負載，提高了系統(tǒng)整體性能。最后，本文針對現(xiàn)有對象存儲系統(tǒng)中元數(shù)據(jù)管理集群缺乏靈活的負載均衡機制、元數(shù)據(jù)訪問效率不高的問題，本文給出了子群的元數(shù)據(jù)管理模式，使用SUBI