基于云的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化問題研究.pdf

1、近年來,人們見證了數(shù)據(jù)的爆炸式增長,大數(shù)據(jù)已經開始深入到人們生活的方方面面。為了挖掘海量數(shù)據(jù)背后潛藏的價值,研究人員提出了MapReduce并行處理框架,以應對傳統(tǒng)數(shù)據(jù)庫技術在處理大數(shù)據(jù)時的缺陷。MapReduce以“分而治之”的思想通過將海量數(shù)據(jù)分片到分布式集群中的節(jié)點中執(zhí)行,從而大大提高數(shù)據(jù)處理的效率。它衍生出了Hadoop、Spark等開源的大數(shù)據(jù)處理系統(tǒng),受到了學術界和工業(yè)界的廣泛關注。大數(shù)據(jù)處理系統(tǒng)離不開大量底層基礎設施資源的

2、支撐,然而初期昂貴的一次性經濟投入以及后期繁雜的運維工作卻阻礙了部分中小型企業(yè)運用大數(shù)據(jù)處理系統(tǒng)。因此隨著云計算技術的不斷發(fā)展,越來越多的企業(yè)和組織開始將大數(shù)據(jù)處理遷移到云中進行,充分利用云計算中按需自服務、彈性擴展的優(yōu)勢,縮短數(shù)據(jù)處理和分析的生命周期,提高生產效率。
　　云計算為大數(shù)據(jù)處理帶來了便利的同時,也給它帶來了新的挑戰(zhàn)和問題。本文在全面、深入地研究分析了現(xiàn)有的基于云計算的大數(shù)據(jù)處理系統(tǒng)的相關成果之后,以性能優(yōu)化為目標,在

3、云中大數(shù)據(jù)處理虛擬集群的調度、分布式存儲系統(tǒng)的數(shù)據(jù)放置和大數(shù)據(jù)處理系統(tǒng)的任務調度三個方面展開了研究工作:
　　首先,本文對云計算環(huán)境中大數(shù)據(jù)處理系統(tǒng)的網絡性能需求進行分析和建模,充分考慮到云環(huán)境中網絡資源的共享問題,刻畫大數(shù)據(jù)虛擬集群競爭時可獲得的最大網絡性能?；诖四Ｐ?提出了面向網絡性能優(yōu)化的云中大數(shù)據(jù)處理虛擬集群調度問題。并針對此問題,設計了一個啟發(fā)式的調度算法,目標是在滿足時間要求的前提下,盡量尋找最優(yōu)解,優(yōu)化大數(shù)據(jù)處理系

4、統(tǒng)在云中的網絡性能。模擬實驗表明該算法能夠獲得接近于最優(yōu)的調度結果。
　　然后,本文研究了云環(huán)境中Hadoop分布式存儲系統(tǒng)的數(shù)據(jù)放置問題。針對云中虛擬機共存和異構性帶來的數(shù)據(jù)可靠性下降和應用處理性能降低的問題,提出了一個基于位置感知的數(shù)據(jù)塊放置算法。算法通過感知虛擬集群在真實物理拓撲中的相對位置進行數(shù)據(jù)塊副本的放置,提高數(shù)據(jù)塊的可靠性。同時通過前瞻性地預測各節(jié)點的處理負載,提高本地任務的比例,優(yōu)化數(shù)據(jù)處理應用的性能。通過一系列的

5、模擬實驗和真實的集群實驗分析,證明了該放置算法能夠在滿足實時性要求的前提下,加強數(shù)據(jù)的可靠性并且有效縮短I/O敏感型應用的處理時間。
　　最后,本文研究了在云環(huán)境中運行大數(shù)據(jù)處理系統(tǒng)時的推測性任務調度問題。為了避免海量任務中的部分異?；蛘呗浜笕蝿战o整個應用作業(yè)帶來的影響,大數(shù)據(jù)處理系統(tǒng)常常通過啟動推測性的備份任務來縮短作業(yè)完成時間。推測性任務執(zhí)行的關鍵在于對異常任務的精確檢測和任務完成時間的預測,本文基于歷史作業(yè)信息對當前的任務的

6、執(zhí)行時間進行輔助預測,并且提出基于全局速度和局部速度相結合的方法挑選異常任務,從而在精確檢測落后任務的同時,避免異常任務的誤判導致的資源競爭。實驗結果表明該方法能夠有效減少作業(yè)的完成時間。
　　本文主要以性能優(yōu)化為目標,充分考慮了云計算和大數(shù)據(jù)處理各自的特性和需求,對于大數(shù)據(jù)處理系統(tǒng)遷移到云中運行的相關問題進行了研究。首先本文提出了一個啟發(fā)式算法尋求虛擬集群調度時的最優(yōu)解。隨后,論文提出了基于位置感知的數(shù)據(jù)塊放置策略和基于歷史信息