基于HDFS的云存儲系統(tǒng)的設計與實現(xiàn).pdf

1、近年來，云計算由于其可以快速分析處理大量數(shù)據(jù)而普及。而大容量高性能的存儲系統(tǒng)是云計算的基礎。其中，分布式存儲系統(tǒng)HDFS作為Google FileSystem最為知名的開源實現(xiàn)，已經(jīng)被廣泛使用和研究。它為各大公司和科研機構搭建云存儲服務提供了很好的參考。然而，HDFS作為云計算的輔助系統(tǒng)，自身還存在小文件存儲效率低下等不足，由于這些不足導致HDFS本身是無法直接提供針對商業(yè)需求的應用。為了解決這些問題，本文首先提出針對小文件存儲的優(yōu)化方

2、案并根據(jù)實際商業(yè)需求設計并實現(xiàn)了基于HDFS集群的分布式文件存儲系統(tǒng)。
　　本文所設計的系統(tǒng)主要包括兩種訪問模式:Web模式和NFS模式。重點研究了小文件存儲優(yōu)化、用戶管理、配額管理、NFS和HDFS的融合等方面。本文的主要工作如下:
　　1、針對小文件存儲提出了優(yōu)化方案，并進行了仿真驗證。
　　2、設計出一套完整的針對企業(yè)級用戶需求的解決方案，從客戶端的設計到整個系統(tǒng)的架構，從客戶的需求分析到功能點的實現(xiàn)，都給出了非

3、常詳盡的描述。
　　3、本文完成了三大部分的實現(xiàn)，首先完成了基于Web模式的云存儲系統(tǒng)，主要實現(xiàn)了用戶登錄，配額管理，文件共享等重要功能。然后將NFS引入云存儲系統(tǒng)，和HDFS分布式集群系統(tǒng)完成對接，實現(xiàn)了用戶可以訪問各自的獨立空間。最后完成了后臺管理系統(tǒng)。
　　4、針對本系統(tǒng)的兩種使用模式，使用黑盒子技術設計了非常詳盡的測試用例來測試它們各自的性能，并在上傳文件、下載文件和不同并發(fā)下上傳文件這三個場景里進行性能的比較。