Hadoop網(wǎng)絡日志分析系統(tǒng)性能優(yōu)化算法研究.pdf

1、Hadoop作為一個分布式計算框架，是網(wǎng)絡日志分析的主流工具之一。衍生的Hadoop系統(tǒng)從I/O性能、任務調度、MapReduce模型等方面提出了諸多縮短處理時間的解決方案，但它們在網(wǎng)絡日志分析作業(yè)中對處理效率地提升仍不能滿足變化的需求。在互聯(lián)網(wǎng)公司和科研機構中計算機資源有限，網(wǎng)絡日志分析的需求是不斷增長和變化的，Hadoop網(wǎng)絡日志分析系統(tǒng)往往會因日志數(shù)量增長而速度減慢，整個集群的吞吐率不斷降低。
　　通過研究網(wǎng)絡日志的內容特性

2、、分析方法，以及Hadoop的計算框架等內容，本文提出了針對Hadoop網(wǎng)絡日志分析系統(tǒng)的四種性能優(yōu)化方案：合并作業(yè)以共享I/O，把相似作業(yè)合并以節(jié)省多次讀取數(shù)據(jù)集的時間；小作業(yè)分組數(shù)據(jù)預取，以節(jié)省讀取掃描額外數(shù)據(jù)集的時間；Reduce負載均衡，縮短Reduce階段的處理時間；多個復雜模塊聯(lián)合調優(yōu)，綜合前三個方案以協(xié)調多個階段累積節(jié)約處理時間。這四種優(yōu)化方案在一些階段節(jié)約了時間，理論計算表明這四種方案是可以在約定條件下實現(xiàn)總體處理時間縮