基于Ganglia的Hadoop集群監(jiān)控系統(tǒng)研究.pdf

1、隨著云計(jì)算的快速發(fā)展，分布式集群系統(tǒng)也被廣泛應(yīng)用，發(fā)展云計(jì)算技術(shù)已經(jīng)成為我國(guó)重要的經(jīng)濟(jì)和科技發(fā)展戰(zhàn)略之一，研究和發(fā)展云計(jì)算技術(shù)并將原有信息化數(shù)據(jù)向云計(jì)算平臺(tái)遷移，是未來(lái)十年政府信息化建設(shè)的主流方向。Hadoop作為高效的數(shù)據(jù)分析與數(shù)據(jù)挖掘的軟件，已經(jīng)成為云計(jì)算平臺(tái)不可或缺的一部分。云計(jì)算提供的服務(wù)越來(lái)越多，需要處理的數(shù)據(jù)量和種類不斷增加，同時(shí)對(duì)于數(shù)據(jù)處理結(jié)果的快速性和準(zhǔn)確性要求越來(lái)越高增加，所以對(duì)云計(jì)算平臺(tái)的監(jiān)控就顯得非常必要。數(shù)據(jù)量的

2、增加導(dǎo)致 Hadoop自帶的監(jiān)控系統(tǒng)已經(jīng)無(wú)法滿足對(duì)資源的有效監(jiān)控，現(xiàn)有的監(jiān)控軟件只能分別的監(jiān)控不同平臺(tái)、不同系統(tǒng)的各種應(yīng)用以及服務(wù)，無(wú)法對(duì)云平臺(tái)的所有資源進(jìn)行全面監(jiān)控。為解決這個(gè)問(wèn)題，本文利用 Ganglia監(jiān)控軟件，設(shè)計(jì)并開(kāi)發(fā)實(shí)現(xiàn) Hadoop集群監(jiān)控系統(tǒng)，主要研究工作如下：
　　1）利用Ganglia實(shí)現(xiàn)對(duì)Hadoop集群系統(tǒng)的監(jiān)控。通過(guò)對(duì)每個(gè)節(jié)點(diǎn)之上部署Gmond客戶端收集節(jié)點(diǎn)監(jiān)控?cái)?shù)據(jù)，Gmetad匯總收集信息傳遞到RRDT

3、ool中，最終利用RRDTool的繪圖功能把監(jiān)控信息以圖表形式通過(guò)Web界面展現(xiàn)給管理人員。
　　2）利用Nagios實(shí)現(xiàn)警告服務(wù)。通過(guò)對(duì)Nagios中監(jiān)控時(shí)段、監(jiān)控聯(lián)系人、主機(jī)與主機(jī)組、服務(wù)與服務(wù)組等配置文件的修改，使集群監(jiān)控系統(tǒng)能夠?qū)崿F(xiàn)通過(guò)界面、郵件或者短信的方式，即使管理者不在監(jiān)控系統(tǒng)之前，也能夠收到警告信息。
　　3）實(shí)現(xiàn)數(shù)據(jù)的持久化存儲(chǔ)。RRDTool數(shù)據(jù)庫(kù)是一個(gè)環(huán)形數(shù)據(jù)庫(kù)，存儲(chǔ)容量有限，利用HBase的Java