基于Map-Reduce框架的分布式日志分析系統(tǒng)的研究及應(yīng)用.pdf

1、本論文研究了云計算集群中基于Hadoop框架的分布式日志分析系統(tǒng)，利用MapReduce計算模型進(jìn)行分布式計算，并結(jié)合HDFS進(jìn)行分布式存儲，利用分而治之的策略去分析企業(yè)云計算平臺中產(chǎn)生海量數(shù)據(jù)，監(jiān)控云計算集群中服務(wù)器的運(yùn)行狀態(tài)，并從海量數(shù)據(jù)中挖掘有價值的資源。
　　本系統(tǒng)首先在被監(jiān)控的集群上使用RandomAccess類收集包括各個節(jié)點(diǎn)上的系統(tǒng)日志、線程池中產(chǎn)生的日志等數(shù)據(jù)。然后，使用SSH工具將這些收集的日志數(shù)據(jù)傳輸?shù)截?fù)責(zé)分析

2、數(shù)據(jù)的集群中去，在這個過程中，使用一些聚類的方法將數(shù)據(jù)重新組織。之后，在負(fù)責(zé)分析數(shù)據(jù)的集群上，我們在Hadoop平臺上，分別實現(xiàn)了MapReduce框架中的map模塊和reduce模塊，以此達(dá)到分布式分析日志的功能，并根據(jù)用戶自定義的配置，實現(xiàn)定制化的日志分析。最后，導(dǎo)入生成的分析報告到Excel VBA，將圖形化的分析報告呈現(xiàn)給用戶。
　　另外，將該分布式日志分析系統(tǒng)應(yīng)用在Hadoop基準(zhǔn)測試中，進(jìn)行了大量的實驗和數(shù)據(jù)分析，描述

3、了在不同底層IO軟件（主要包括IO調(diào)度器和文件系統(tǒng)）的選擇上IO密集型基準(zhǔn)測試的性能比較，方便Hadoop用戶選擇這些底層軟件。并通過調(diào)節(jié)這些底層軟件層的參數(shù)，對Hadoop上運(yùn)行的MapReduce程序提供了優(yōu)化方案。
　　比較了TeraSort基準(zhǔn)測試在幾種不同IO調(diào)度算法和幾大代表性的文件系統(tǒng)上的測試性能，并使用之前研究的分布式日志分析工具對其進(jìn)行數(shù)據(jù)的收集與分析。
　　之后，通過對最終結(jié)果進(jìn)行優(yōu)化，比如改進(jìn)IO調(diào)度算