基于云計算的海量數(shù)據(jù)分析系統(tǒng)的研究與實現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展，數(shù)據(jù)分析在企業(yè)決策和產(chǎn)品設(shè)計中起著越來越重要的作用。產(chǎn)品設(shè)計者可以根據(jù)用戶行為數(shù)據(jù)的分析，設(shè)計增加更能提高用戶體驗的功能和對其他部分功能做改進(jìn)；企業(yè)決策層可以根據(jù)數(shù)據(jù)分析的結(jié)果決定產(chǎn)品定位和企業(yè)的發(fā)展方向。但是隨著企業(yè)的發(fā)展、產(chǎn)品的增加和用戶數(shù)量的增加等因素，使得數(shù)據(jù)總量隨之劇增。面對數(shù)據(jù)數(shù)據(jù)存儲、數(shù)據(jù)處理能力和性能等方面的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)已經(jīng)不能勝任對海量數(shù)據(jù)的分析處理工作。
　　本文主要針對傳統(tǒng)數(shù)據(jù)

2、分析系統(tǒng)所面臨的上述的一系列的挑戰(zhàn)，結(jié)合云計算技術(shù)和Amazon提供的云服務(wù)，以及HBase數(shù)據(jù)庫等應(yīng)用，研究并實現(xiàn)新的海量數(shù)據(jù)分析系統(tǒng)。在研究工作中，通過對Amazon提供的EC2，S3和EMR服務(wù)的研究學(xué)習(xí)，以及對數(shù)據(jù)分析系統(tǒng)的客戶端，接收服務(wù)器和數(shù)據(jù)處理服務(wù)器三部分職能的具體分析，創(chuàng)建該系統(tǒng)的初步模型；結(jié)合實際需求，分別對各個模塊進(jìn)行實現(xiàn)，并且完成整個系統(tǒng)的集成；通過系統(tǒng)測試和性能測試，驗證系統(tǒng)是否能解決傳統(tǒng)數(shù)據(jù)分析系統(tǒng)所面臨的問

3、題。
　　研究貫穿了數(shù)據(jù)分析系統(tǒng)的分析設(shè)計和實現(xiàn)的全過程。首先是對課題的問題域和需求的提出。我們通過對傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)的研究和系統(tǒng)存在的問題的分析，提出基于云計算的海量數(shù)據(jù)分析系統(tǒng)的開發(fā)需求，明確新系統(tǒng)設(shè)計實現(xiàn)的重點(diǎn)是接收服務(wù)器和數(shù)據(jù)處理部分。其次是對海量數(shù)據(jù)分析系統(tǒng)各個模塊進(jìn)行設(shè)計和實現(xiàn)。最后是對系統(tǒng)進(jìn)行系統(tǒng)測試和性能測試，從而驗證了該數(shù)據(jù)分析系統(tǒng)是穩(wěn)定健壯并且滿足需求的。
　　目前，云計算技術(shù)應(yīng)用和數(shù)據(jù)分析系統(tǒng)都在處于

4、蓬勃的發(fā)展期，本文通過研究云計算技術(shù)和Amazon所提供云服務(wù)的應(yīng)用，并將成功的其應(yīng)用到實際的企業(yè)級的數(shù)據(jù)分析系統(tǒng)中。實現(xiàn)了基于云計算的數(shù)據(jù)分析系統(tǒng)，以此解決了傳統(tǒng)數(shù)據(jù)分析系統(tǒng)中所存在的問題，提高了系統(tǒng)的分析處理能力，并且節(jié)省了成本，縮短了開發(fā)周期。
　　采用云計算技術(shù)之后，使得數(shù)據(jù)處理系統(tǒng)在分析處理數(shù)據(jù)的時候更加靈活，可以根據(jù)實際需要增加或減少數(shù)據(jù)處理所需的硬件資源。同時能節(jié)省硬件設(shè)備維護(hù)和存儲數(shù)據(jù)備份所需的開支。無論從系統(tǒng)的數(shù)