大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，用戶數(shù)據(jù)的增長越來越快。這些數(shù)據(jù)的背后隱藏著巨大的商機(jī)，它們不再被當(dāng)作無用數(shù)據(jù)處理，而是被有效的分析利用，從而創(chuàng)造出新時(shí)代下的經(jīng)濟(jì)利益。
　　分析這些海量數(shù)據(jù)，單臺服務(wù)器顯然是無法完成的。因此，以集群為單位同時(shí)處理數(shù)據(jù)的方式被廣泛應(yīng)用。由于數(shù)據(jù)每時(shí)每刻都在被終端采集并傳入集群，若速度過大則會造成集群負(fù)荷過重?cái)?shù)據(jù)處理不了造成堆積，速度過小又無法充分挖掘集群的處理能力。所以如何確定采集數(shù)據(jù)的速度讓集群現(xiàn)有資源得到最優(yōu)利

2、用以及實(shí)時(shí)掌握集群的運(yùn)行狀態(tài)是值得深入研究的問題。
　　本文采用Hadoop+Spark+HBase的方式為集群上的數(shù)據(jù)存儲、處理提供一套解決方案，并通過監(jiān)控集群狀況對比處理速度來確定最優(yōu)采集速度。從數(shù)據(jù)存儲、數(shù)據(jù)處理、集群監(jiān)控以及性能評估等方面對集群處理大規(guī)模數(shù)據(jù)進(jìn)行了研究。論文主要包含以下工作:闡述了Hadoop、Spark以及HBase的概念、特點(diǎn)以及架構(gòu)，搭建集群，根據(jù)它們的數(shù)據(jù)集操作模型編寫分布式程序?qū)λ鼈冞M(jìn)行了實(shí)際的應(yīng)

3、用;模擬數(shù)據(jù)流的采集，分別利用Spark-HDFS、MapReduce-HDFS、MapReduce-HBase作為數(shù)據(jù)過濾的方案，并采用Spark和MapKeduce運(yùn)行PageRank找出活躍度高的用戶從而完成對數(shù)據(jù)的處理過程;分析數(shù)據(jù)流存儲到集群的速度及數(shù)據(jù)實(shí)時(shí)處理的速度，并觀測集群性能，讓用戶能夠選擇最佳的采集速度，實(shí)現(xiàn)集群資源的最大化利用;開發(fā)了集群監(jiān)控系統(tǒng)，查看集群實(shí)時(shí)狀態(tài)，包括各節(jié)點(diǎn)的CPU、內(nèi)存使用情況，并提供性能評估標(biāo)