云計算中分布式JobTracker節(jié)點模型的建立與優(yōu)化.pdf

1、云計算是隨著大規(guī)模計算機、個人計算機、互聯網的發(fā)展而產生的第四次 IT產業(yè)革命，谷歌首先定義并發(fā)展了云計算。而云計算的開源模型Hadoop是一種基于Java的通過運行可分布式的密集型應用來分析和處理大數據的開源分布式計算平臺，其中的單點問題造成了Hadoop的性能瓶頸。針對存儲模型架構HDFS中的namenode節(jié)點的單節(jié)點優(yōu)化，Hadoop2.0提出了多節(jié)點高可用性方案，但是針對JobTracker節(jié)點的單節(jié)點優(yōu)化并沒有給出相應的解決

2、辦法。本文期望通過建立分布式 JobTracker節(jié)點模型來改善傳統(tǒng)的計算模型架構中的單 JobTracker節(jié)點故障，從而能夠自動避免單JobTracker節(jié)點故障導致的作業(yè)運行失敗。
　　本文的主要工作內容及貢獻如下：
　　在充分分析了前人對單 JobTracker節(jié)點模型的改進和對調度算法與負載均衡算法的調優(yōu)。首先通過對最短路徑算法Dijkstra算法、網頁權值判斷算法PageRank算法和網頁去重算法Bloom Fl

3、iter算法的研究，建立了分布式JobTracker節(jié)點模型，并通過Dijkstra算法對分布式JobTracker節(jié)點模型中多對多節(jié)點間的通信方式進行了優(yōu)化，以期望多節(jié)點模型下的多個 JobTracker節(jié)點和任務節(jié)點間能夠均衡的進行通信；其次基于PageRank算法對作業(yè)的調度方式進行了優(yōu)化；最后進一步通過Counting Bloom Filter算法改進各個節(jié)點上任務的復本數，從而對分布式JobTracker模型中節(jié)點的負載進行了

4、優(yōu)化。本文在分析完分布式 JobTracker節(jié)點模型的通信方式及其相關的調度優(yōu)化后，搭建了小型Hadoop實驗集群對結果進行了實驗驗證。
　　由實驗結果可以看出，單 JobTracker節(jié)點模型與分布式 JobTracker節(jié)點模型相比，在集群發(fā)生宕機時，分布式JobTrackder節(jié)點模型具有更高的可靠性，基于Dijkstra算法的通信方式能夠更快速的選出JobTracker節(jié)點；對于改進的作業(yè)調度算法，在提交的作業(yè)具有依賴關

5、系時，基于PageRank的改進算法能夠更進一步的提高作業(yè)的整體處理時間；對于改進的負載均衡算法，從副本的存儲負載角度對集群的負載進行了優(yōu)化，從而提高了重復數據副本存儲空間利用率。實驗最后對集群的綜合性能進行了對比，由實驗結果可以看出，分布式 JobTracker節(jié)點模型下的優(yōu)化由于主要是針對特定作業(yè)的優(yōu)化與改進，處理作業(yè)的綜合性能并不如原有集群高，但是當集群發(fā)生 JobTracker節(jié)點宕機時，提高了集群的安全可靠性，并針對特殊場景的