基于Hadoop技術(shù)在分布式數(shù)據(jù)存儲(chǔ)中的應(yīng)用研究.pdf

1、隨著各國信息化步伐的加快，產(chǎn)生了海量的數(shù)據(jù)信息，非常需要一種有效的方法對(duì)海量數(shù)據(jù)進(jìn)行高效的安全的管理和使用，因此，云存儲(chǔ)得到快速的發(fā)展，云存儲(chǔ)的研究也是多種多樣。既包括大文件的存儲(chǔ)，也包括系統(tǒng)可擴(kuò)展性、可靠性和運(yùn)行速度等，在這些研究課題的推動(dòng)下，數(shù)據(jù)存儲(chǔ)系統(tǒng)也從集中式發(fā)展到了分布式云存儲(chǔ)。Hadoop是云存儲(chǔ)的核心技術(shù)，所以基于Hadoop技術(shù)的分布式數(shù)據(jù)存儲(chǔ)在云存儲(chǔ)中起著中流砥柱的作用。
　　本文首先對(duì)Hadoop架構(gòu)以及相關(guān)技

2、術(shù)進(jìn)行研究，包括HDFS和MapReduce等關(guān)鍵技術(shù)，詳細(xì)研究了HDFS的特點(diǎn)及其體系架構(gòu)，并且利用它的負(fù)載均衡機(jī)制來提高系統(tǒng)的效率;其次研究了分布式計(jì)算框架MapReduce，研究了如何利用它來實(shí)現(xiàn)快速的分布式存儲(chǔ)。通過對(duì)分布式云存儲(chǔ)的關(guān)鍵技術(shù)進(jìn)行研究之后，開始對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行設(shè)計(jì)，系統(tǒng)設(shè)計(jì)的主要內(nèi)容包括:其一，對(duì)系統(tǒng)的功能需求和性能需求進(jìn)行了研究，制定了系統(tǒng)的設(shè)計(jì)原則與設(shè)計(jì)目標(biāo);其二，通過對(duì)系統(tǒng)的客戶端和服務(wù)器端在進(jìn)行通信時(shí)如

3、何保證通信安全的研究，決定使用HTTPS配合SSL和數(shù)字證書來保證網(wǎng)絡(luò)傳輸和認(rèn)證的安全。本系統(tǒng)是在Linux系統(tǒng)下搭建的Hadoop集群，在實(shí)驗(yàn)室的環(huán)境下模擬實(shí)現(xiàn)的數(shù)據(jù)存取系統(tǒng)。本文研究的基于Hadoop的分布式云存儲(chǔ)方案將有效支持PB級(jí)別數(shù)據(jù)存儲(chǔ)、支持該可用性系統(tǒng)、支持高效率統(tǒng)計(jì)分析。
　　本文基于Hadoop技術(shù)所開展的分布式數(shù)據(jù)存儲(chǔ)應(yīng)用研究，實(shí)現(xiàn)了數(shù)據(jù)的按列分布式存儲(chǔ)，在按列查詢和任務(wù)的分解與集合的基礎(chǔ)上實(shí)現(xiàn)查詢功能，達(dá)到了