基于云的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化問題研究.pdf

1、近年來,人們見證了數(shù)據(jù)的爆炸式增長,大數(shù)據(jù)已經(jīng)開始深入到人們生活的方方面面。為了挖掘海量數(shù)據(jù)背后潛藏的價值,研究人員提出了MapReduce并行處理框架,以應(yīng)對傳統(tǒng)數(shù)據(jù)庫技術(shù)在處理大數(shù)據(jù)時的缺陷。MapReduce以“分而治之”的思想通過將海量數(shù)據(jù)分片到分布式集群中的節(jié)點中執(zhí)行,從而大大提高數(shù)據(jù)處理的效率。它衍生出了Hadoop、Spark等開源的大數(shù)據(jù)處理系統(tǒng),受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。大數(shù)據(jù)處理系統(tǒng)離不開大量底層基礎(chǔ)設(shè)施資源的

2、支撐,然而初期昂貴的一次性經(jīng)濟(jì)投入以及后期繁雜的運維工作卻阻礙了部分中小型企業(yè)運用大數(shù)據(jù)處理系統(tǒng)。因此隨著云計算技術(shù)的不斷發(fā)展,越來越多的企業(yè)和組織開始將大數(shù)據(jù)處理遷移到云中進(jìn)行,充分利用云計算中按需自服務(wù)、彈性擴(kuò)展的優(yōu)勢,縮短數(shù)據(jù)處理和分析的生命周期,提高生產(chǎn)效率。
　　云計算為大數(shù)據(jù)處理帶來了便利的同時,也給它帶來了新的挑戰(zhàn)和問題。本文在全面、深入地研究分析了現(xiàn)有的基于云計算的大數(shù)據(jù)處理系統(tǒng)的相關(guān)成果之后,以性能優(yōu)化為目標(biāo),在

3、云中大數(shù)據(jù)處理虛擬集群的調(diào)度、分布式存儲系統(tǒng)的數(shù)據(jù)放置和大數(shù)據(jù)處理系統(tǒng)的任務(wù)調(diào)度三個方面展開了研究工作:
　　首先,本文對云計算環(huán)境中大數(shù)據(jù)處理系統(tǒng)的網(wǎng)絡(luò)性能需求進(jìn)行分析和建模,充分考慮到云環(huán)境中網(wǎng)絡(luò)資源的共享問題,刻畫大數(shù)據(jù)虛擬集群競爭時可獲得的最大網(wǎng)絡(luò)性能。基于此模型,提出了面向網(wǎng)絡(luò)性能優(yōu)化的云中大數(shù)據(jù)處理虛擬集群調(diào)度問題。并針對此問題,設(shè)計了一個啟發(fā)式的調(diào)度算法,目標(biāo)是在滿足時間要求的前提下,盡量尋找最優(yōu)解,優(yōu)化大數(shù)據(jù)處理系

4、統(tǒng)在云中的網(wǎng)絡(luò)性能。模擬實驗表明該算法能夠獲得接近于最優(yōu)的調(diào)度結(jié)果。
　　然后,本文研究了云環(huán)境中Hadoop分布式存儲系統(tǒng)的數(shù)據(jù)放置問題。針對云中虛擬機(jī)共存和異構(gòu)性帶來的數(shù)據(jù)可靠性下降和應(yīng)用處理性能降低的問題,提出了一個基于位置感知的數(shù)據(jù)塊放置算法。算法通過感知虛擬集群在真實物理拓?fù)渲械南鄬ξ恢眠M(jìn)行數(shù)據(jù)塊副本的放置,提高數(shù)據(jù)塊的可靠性。同時通過前瞻性地預(yù)測各節(jié)點的處理負(fù)載,提高本地任務(wù)的比例,優(yōu)化數(shù)據(jù)處理應(yīng)用的性能。通過一系列的

5、模擬實驗和真實的集群實驗分析,證明了該放置算法能夠在滿足實時性要求的前提下,加強(qiáng)數(shù)據(jù)的可靠性并且有效縮短I/O敏感型應(yīng)用的處理時間。
　　最后,本文研究了在云環(huán)境中運行大數(shù)據(jù)處理系統(tǒng)時的推測性任務(wù)調(diào)度問題。為了避免海量任務(wù)中的部分異?；蛘呗浜笕蝿?wù)給整個應(yīng)用作業(yè)帶來的影響,大數(shù)據(jù)處理系統(tǒng)常常通過啟動推測性的備份任務(wù)來縮短作業(yè)完成時間。推測性任務(wù)執(zhí)行的關(guān)鍵在于對異常任務(wù)的精確檢測和任務(wù)完成時間的預(yù)測,本文基于歷史作業(yè)信息對當(dāng)前的任務(wù)的

6、執(zhí)行時間進(jìn)行輔助預(yù)測,并且提出基于全局速度和局部速度相結(jié)合的方法挑選異常任務(wù),從而在精確檢測落后任務(wù)的同時,避免異常任務(wù)的誤判導(dǎo)致的資源競爭。實驗結(jié)果表明該方法能夠有效減少作業(yè)的完成時間。
　　本文主要以性能優(yōu)化為目標(biāo),充分考慮了云計算和大數(shù)據(jù)處理各自的特性和需求,對于大數(shù)據(jù)處理系統(tǒng)遷移到云中運行的相關(guān)問題進(jìn)行了研究。首先本文提出了一個啟發(fā)式算法尋求虛擬集群調(diào)度時的最優(yōu)解。隨后,論文提出了基于位置感知的數(shù)據(jù)塊放置策略和基于歷史信息