基于Hadoop集群的海量數(shù)據(jù)計算和存儲技術研究.pdf

1、隨著計算機技術、網(wǎng)絡技術和信息技術的發(fā)展，信息量呈爆炸式增長，我們已經(jīng)生活在數(shù)據(jù)時代。在當今高度信息化的社會中，互聯(lián)網(wǎng)已經(jīng)成為目前最大的信息系統(tǒng)，其里面的數(shù)據(jù)具有海量、動態(tài)變化、多樣、異構等特性。而原來傳統(tǒng)的關系型數(shù)據(jù)庫在應對具有高并發(fā)、大規(guī)模以及TB/PB級的數(shù)據(jù)量的應用需求是，特別是當今流行的SNS類型的動態(tài)網(wǎng)站，已經(jīng)顯得力不從心。同時，隨著云計算和云存儲的興起，如何有效地存儲這些海量數(shù)據(jù)；如何能快速地能這些海量數(shù)據(jù)進行計算，提出對

2、企業(yè)有價值的信息;以及何如方便地管理這些海量數(shù)據(jù)，成為當今互聯(lián)網(wǎng)企業(yè)在面對海量數(shù)據(jù)時，碰到的一個技術難題。
　　 本文基于這個問題為出發(fā)點，研究和分析目前在云計算和海量數(shù)據(jù)存儲和計算方面，比較火熱的云計算平臺Hadoop。其平臺在對海量數(shù)據(jù)進行存儲和計算方面非常有優(yōu)勢，應用開發(fā)者不需要了解其平臺底層的計算實現(xiàn)細節(jié)，便可以利用其平臺進行分布式應用的開發(fā)，同時，其平臺一般運行在普通廉價的計算機集群上，可以充分利用集群的威力進行運算和

3、存儲，這可以極大地節(jié)約投入硬件的經(jīng)濟成本。
　　 本文首先介紹本課題的研究背景，研究意義和內容，并簡要的闡述在海量數(shù)據(jù)存儲和計算方面的云平臺-Hadoop。接著，主要對在海量數(shù)據(jù)存儲和計算方面的關鍵技術進行介紹，特別是目前火熱的云計算方面的相關計算，其中介紹了云計算的基本概念和其體系架構，以及云計算中的虛擬化技術、并行計算和分布式計算、分布式存儲技術、分布式數(shù)據(jù)管理技術等關鍵技術。然后，重點研究了Hadoop平臺中的兩個核心組件