基于對象合并的小文件優(yōu)化技術研究.pdf

1、隨著數(shù)字時代的到來，越來越多的信息被轉換成數(shù)字信息并得以保存。分布式文件系統(tǒng)為海量信息存儲提供了解決方案，但是分布式文件系統(tǒng)適合處理流式的大文件，對小文件的存儲效率不高，限制了分布式文件系統(tǒng)的應用。
　　針對分布式文件系統(tǒng)Cappella，分析文件的讀寫流程，確定小文件操作的開銷主要在于對象存儲服務器提供的數(shù)據服務。針對對象存儲服務器，提出了基于用戶的對象合并方案。該方案盡量將某個用戶的小對象合并為一個大對象，通過測試對象存儲服務

2、器的讀寫帶寬，確定小文件的閾值；為了提高小對象的定位速度，每個大對象建立對應的索引文件；索引文件采用隱式哈希表的格式進行存儲，提高載入內存的速度；對索引文件建立緩存，緩存最近使用的索引；減少合并對象的元數(shù)據量，在內存中緩存全部的合并對象的元數(shù)據，從而可以快速地對訪問所有的元數(shù)據；為了解決長時間運行導致的碎片問題，在合并對象中的無效小對象達到一定程度時，對合并對象進行整理。
　　分別使用Postmark和IOzone對優(yōu)化前后分布式