基于Hadoop的網(wǎng)絡(luò)驗(yàn)證平臺的研究.pdf

1、云計(jì)算[1]是2007年底正式推出的一個(gè)嶄新的概念,它可以說是一個(gè)歷史性的創(chuàng)新,意味著計(jì)算服務(wù)也可以作為一種商品進(jìn)行買賣,就像煤氣、水電一樣,取用方便,費(fèi)用低廉,而區(qū)別只是在于它是通過互聯(lián)網(wǎng)傳輸?shù)摹，F(xiàn)今為止,Google、IBM、亞馬遜等IT商業(yè)巨頭都提拱了自己的云計(jì)算平臺,并把云計(jì)算作為其未來發(fā)展的最主要戰(zhàn)略之一。因此,云計(jì)算的研究不但緊跟業(yè)界技術(shù)發(fā)展的趨勢,同時(shí)還具有較高的應(yīng)用價(jià)值。
　　 在云計(jì)算系統(tǒng)的后臺,提拱了成千上萬

2、的服務(wù)器,如何很好地組織如此巨大的服務(wù)器集群是云計(jì)算系統(tǒng)穩(wěn)定運(yùn)行重要問題。一個(gè)合理的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)不僅能夠提高網(wǎng)絡(luò)的性能,而且能夠保證網(wǎng)絡(luò)的穩(wěn)定性,使網(wǎng)絡(luò)在部分節(jié)點(diǎn)或鏈路故障或擁擠堵塞時(shí)也能正常工作。云計(jì)算系統(tǒng)后端的網(wǎng)絡(luò)拓?fù)涮匦耘c一般的網(wǎng)絡(luò)拓?fù)洳煌?因此我們應(yīng)該重新考慮和研究。
　　 數(shù)據(jù)是信息的攜帶者,而信息是數(shù)據(jù)的含義,通常情況下認(rèn)為數(shù)據(jù)是信息系統(tǒng)的基本。使用計(jì)算機(jī)來處理數(shù)據(jù),提取信息是信息系統(tǒng)的基本需求。在現(xiàn)今高度信息化的社

3、會(huì)里,Web可以說是最大的信息系統(tǒng),其數(shù)據(jù)具有海量、多樣、異構(gòu)、動(dòng)態(tài)變化等基本特征。如何實(shí)現(xiàn)快速有效地從這些數(shù)據(jù)中抽取出對企業(yè)有益的信息已成為程序員在進(jìn)行軟件開發(fā)過程中碰到的最重要的工作?；谶@個(gè)出發(fā)點(diǎn),本文在分析現(xiàn)有分布式存儲和分布式計(jì)算等關(guān)鍵技術(shù)基礎(chǔ)上,結(jié)合對Hadoop的集群技術(shù)的研究以及自身的業(yè)務(wù)需求和實(shí)際軟硬件實(shí)力,提出了一種基于Hadoop的海量數(shù)據(jù)處理模型,并從數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、程序流程組織和編程技術(shù)的使用等幾個(gè)方面來介紹這個(gè)

4、模型的開發(fā)方法,最后將該模型應(yīng)用于網(wǎng)絡(luò)驗(yàn)證平臺的web日志數(shù)據(jù)處理過程中。它允許程序員可以沒有并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗(yàn),就能夠處理超大規(guī)模的分布式系統(tǒng)的資源。該模型還可以應(yīng)用在諸如非文本圖片存儲、搜索引擎、網(wǎng)格計(jì)算[2]等需要處理大數(shù)據(jù)量的網(wǎng)絡(luò)應(yīng)用中。
　　 本課題的特點(diǎn)是將研究的模型與實(shí)際業(yè)務(wù)應(yīng)用相結(jié)合,利用前沿的分布式框架技術(shù)來很好地滿足項(xiàng)目的需求,并將模型部署到實(shí)例當(dāng)中,用實(shí)驗(yàn)結(jié)果來檢驗(yàn)?zāi)Ｐ偷膶?shí)用價(jià)值,比如高效率、低成