基于Hadoop海量日志文件的網(wǎng)站并發(fā)性能分析.pdf

1、商業(yè)數(shù)據(jù)、科學(xué)數(shù)據(jù)、網(wǎng)頁(yè)數(shù)據(jù)這三大類海量數(shù)據(jù)憑借著異構(gòu)性、動(dòng)態(tài)性和膨脹性等特點(diǎn)給傳統(tǒng)的數(shù)據(jù)處理方式帶來(lái)巨大壓力。以Hadoop為代表的大規(guī)模數(shù)據(jù)處理技術(shù)突破以往的單機(jī)數(shù)據(jù)處理模式，引入大規(guī)模分布式計(jì)算機(jī)集群來(lái)提升數(shù)據(jù)處理性能，大大減輕了數(shù)據(jù)處理壓力。Hadoop技術(shù)現(xiàn)已憑借著可伸縮性、健壯性以及計(jì)算性能和成本上無(wú)可替代的優(yōu)勢(shì)逐漸發(fā)展為海量數(shù)據(jù)處理的最佳解決方案，受到越來(lái)越多IT企業(yè)的重視。
　　本文首先研究海量數(shù)據(jù)相關(guān)技術(shù)的應(yīng)用現(xiàn)

2、狀及 Hadoop平臺(tái)的設(shè)計(jì)架構(gòu)，選取網(wǎng)站自動(dòng)生成的日志文件為處理對(duì)象，提出一種基于 Hadoop的海量日志文件處理模型。根據(jù)日志文件信息冗余、格式不統(tǒng)一的特點(diǎn)，該模型在設(shè)計(jì)時(shí)首先對(duì)格式進(jìn)行解析處理，提取其中有價(jià)值的信息并將其鍵值化。再遵循MapReduce編程框架，分兩階段設(shè)計(jì)任務(wù)匯總模塊和對(duì)結(jié)果的求平均排序模塊，目的是能根據(jù)日志提供的信息統(tǒng)計(jì)出網(wǎng)站的并發(fā)量及平均響應(yīng)時(shí)間，以此探索網(wǎng)站并發(fā)量高的時(shí)候響應(yīng)時(shí)間的變化情況，分析網(wǎng)站性能的優(yōu)