面向性能調優(yōu)的MapReduce集群模擬器的研究與設計.pdf

1、當前各種互聯(lián)網應用都面臨著海量數據的存儲和處理問題，飛速增長數據對數據處理系統(tǒng)的可擴展性提出了巨大的挑戰(zhàn)。以 MapReduce為典型的云技術的興起，為海量數據的處理提供了一套可行的解決方案。作為MapReduce框架的開源實現，Hadoop也越來越受到各企業(yè)的青睞，一方面它提供了HDFS，為海量數據的存儲提供可靠、高可擴展的存儲平臺，另一方面，它實現了MapReduce框架，簡化了并行應用程序的設計難度，為大規(guī)模并行數據處理提供了簡單

2、易用的編程框架。
　　然而，隨著Hadoop集群規(guī)模的不斷擴大，許多基于Hadoop平臺的benchmark的測試不能反映生產集群的真實負載特征。同時搭建一個同等規(guī)模的測試集群，需要一筆昂貴的開銷。同時，作為Hadoop平臺性能調優(yōu)的一個重要方面，調度器性能一直都是人們重點關注的問題。而且隨著集群用戶和作業(yè)的不斷增加，用戶對作業(yè)的響應性能也有不同的要求，共享集群中的作業(yè)調度問題日漸突出。許多現存的調度器，如公平調度器，計算能力調度

3、器，HOD等在面對這些問題特別是面對作業(yè)類型多樣化問題時，都顯得有些無能為力。本文在分析Hadoop平臺原理和技術的基礎上進行以下兩個方面的研究工作：
　　（1）提出一種負載生成方法，通過分析真實負載中的作業(yè)類型，以及還原真實負載的作業(yè)提交模型來模擬集群中的真實負載。同時本文設計了一個MapReduce模擬器，能使用少量節(jié)點模擬出大規(guī)模集群，并對作業(yè)的運行過程進行了精確模擬，從而提供了一個完整的Hadoop集群性能測試平臺，幫助解

4、決大規(guī)模集群的測試問題。經過實驗驗證，負載生成方法可以精確生成反映真實負載的模擬負載，模擬器可以通過少量節(jié)點模擬出大規(guī)模集群，并提供較為精確的作業(yè)運行模擬。
　?。?）針對作業(yè)多樣化問題提出了基于靜態(tài)優(yōu)先級的搶占調度算法（SPPSA，Static Priority based Preemptive Scheduling Algorithm），該調度算法將調度問題分解為作業(yè)池調度，作業(yè)優(yōu)先級調度，任務調度等三個問題，從而提供了作業(yè)池