Hadoop集群監(jiān)控系統(tǒng)的研究與應(yīng)用.pdf

1、隨著信息化建設(shè)的高速發(fā)展,傳統(tǒng)的基礎(chǔ)設(shè)施也在不斷的向云平臺(tái)遷移,而云計(jì)算也在2013年成為政府未來幾年信息化建設(shè)的一個(gè)主流方向。其中基于Hadoop所搭建的云計(jì)算平臺(tái)是目前最為主流熱門的應(yīng)用,被世界各大IT業(yè)巨頭廣泛的使用和發(fā)展。隨著Hadoop云計(jì)算平臺(tái)搭建成功和使用過程中的不斷擴(kuò)容, Hadoop其自帶的監(jiān)控系統(tǒng)已經(jīng)無法勝任對(duì)集群全面了解和掌握的任務(wù),這也為平臺(tái)的管理和監(jiān)控帶來了難題。這時(shí)候一個(gè)功能全面,能夠讓管理人員隨時(shí)隨地及時(shí)掌

2、握平臺(tái)各種信息的監(jiān)控系統(tǒng)就顯得尤為重要。而當(dāng)前,對(duì)資源的監(jiān)控研究主要集中在網(wǎng)格計(jì)算,很少有談及對(duì)Hadoop平臺(tái)的監(jiān)控,而對(duì)網(wǎng)格計(jì)算的監(jiān)控并不能快速的反應(yīng)Hadoop平臺(tái)的狀態(tài),遠(yuǎn)遠(yuǎn)低于Hadoop平臺(tái)的監(jiān)控需求。
　　本文首先對(duì)現(xiàn)有的一些主流監(jiān)控系統(tǒng)進(jìn)行分析與對(duì)比,并以江西電信的Hadoop云計(jì)算平臺(tái)為背景,針對(duì)該平臺(tái)的網(wǎng)絡(luò)結(jié)構(gòu)、信息安全的要求、業(yè)務(wù)需求、功能需求等方面,通過分析與規(guī)劃,采用 Nagios和 Ganglia這兩套

3、開源的監(jiān)控工具。根據(jù)這兩套軟件的優(yōu)缺點(diǎn),進(jìn)行優(yōu)勢(shì)互補(bǔ),并根據(jù)現(xiàn)有Hadoop集群的實(shí)際情況,開發(fā)和設(shè)計(jì)出一套監(jiān)控系統(tǒng),能夠完全和實(shí)時(shí)的監(jiān)控Hadoop平臺(tái)。該監(jiān)控系統(tǒng)能夠?qū)adoop平臺(tái)進(jìn)行監(jiān)控,對(duì)集群各個(gè)節(jié)點(diǎn)性能指標(biāo)進(jìn)行監(jiān)控,針對(duì)信息安全考慮采用分布式構(gòu)架,各種監(jiān)控指標(biāo)和信息能夠以Web頁面圖表方式直觀的展示,管理員更加輕松的集群管理和全面了解掌握集群信息。監(jiān)控系統(tǒng)能夠在集群出現(xiàn)故障時(shí),以多種方式快速的告警通知管理人員,提高集群的運(yùn)