大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，用戶數(shù)據(jù)的增長越來越快。這些數(shù)據(jù)的背后隱藏著巨大的商機，它們不再被當作無用數(shù)據(jù)處理，而是被有效的分析利用，從而創(chuàng)造出新時代下的經(jīng)濟利益。
　　分析這些海量數(shù)據(jù)，單臺服務器顯然是無法完成的。因此，以集群為單位同時處理數(shù)據(jù)的方式被廣泛應用。由于數(shù)據(jù)每時每刻都在被終端采集并傳入集群，若速度過大則會造成集群負荷過重數(shù)據(jù)處理不了造成堆積，速度過小又無法充分挖掘集群的處理能力。所以如何確定采集數(shù)據(jù)的速度讓集群現(xiàn)有資源得到最優(yōu)利

2、用以及實時掌握集群的運行狀態(tài)是值得深入研究的問題。
　　本文采用Hadoop+Spark+HBase的方式為集群上的數(shù)據(jù)存儲、處理提供一套解決方案，并通過監(jiān)控集群狀況對比處理速度來確定最優(yōu)采集速度。從數(shù)據(jù)存儲、數(shù)據(jù)處理、集群監(jiān)控以及性能評估等方面對集群處理大規(guī)模數(shù)據(jù)進行了研究。論文主要包含以下工作:闡述了Hadoop、Spark以及HBase的概念、特點以及架構(gòu)，搭建集群，根據(jù)它們的數(shù)據(jù)集操作模型編寫分布式程序?qū)λ鼈冞M行了實際的應

3、用;模擬數(shù)據(jù)流的采集，分別利用Spark-HDFS、MapReduce-HDFS、MapReduce-HBase作為數(shù)據(jù)過濾的方案，并采用Spark和MapKeduce運行PageRank找出活躍度高的用戶從而完成對數(shù)據(jù)的處理過程;分析數(shù)據(jù)流存儲到集群的速度及數(shù)據(jù)實時處理的速度，并觀測集群性能，讓用戶能夠選擇最佳的采集速度，實現(xiàn)集群資源的最大化利用;開發(fā)了集群監(jiān)控系統(tǒng)，查看集群實時狀態(tài)，包括各節(jié)點的CPU、內(nèi)存使用情況，并提供性能評估標