分布式云計算資源配置技術(shù)研究.pdf

1、采用令用戶滿意的高效資源配置機制是云服務(wù)提供商取得成功的關(guān)鍵因素之一。在基礎(chǔ)設(shè)施即服務(wù)（Infrastructure act as Service，IaaS）模型中，云服務(wù)提供商主要以虛擬機的形式對外提供服務(wù)，因此資源配置問題也就歸結(jié)為在滿足業(yè)務(wù)需求前提下的虛擬機部署問題。本文首先依據(jù)虛擬機部署順序，采用自頂向下的方法，將分布式云計算中虛擬機部署分為三個階段，即云網(wǎng)絡(luò)選擇階段，數(shù)據(jù)中心選擇階段和服務(wù)器選擇階段。然后結(jié)合各階段中具體業(yè)務(wù)的

2、不同需求，給出了針對性的資源配置策略。
　　在云網(wǎng)絡(luò)選擇階段，云經(jīng)紀人（cloud broker）會利用長期資源預(yù)留的價格優(yōu)勢和資源統(tǒng)計復(fù)用帶來的增益，通過租賃公有云服務(wù)提供商的基礎(chǔ)設(shè)施來降低自己的成本。由于云服務(wù)提供商會提供多種不同的虛擬機預(yù)留實例周期（virtual machines reserved instance terms），而不同周期的實例價格不同，云經(jīng)紀人必須從多種實例周期中做出適當(dāng)選擇，以便采用最低成本資源滿足用

3、戶的實時動態(tài)需求。針對此目標(biāo)，本文提出了最長實例周期優(yōu)選的逐層預(yù)留啟發(fā)式算法和基于集合覆蓋的近似算法來解決離線情況下的資源配置問題，并提出了基于歷史資源使用信息的在線資源配置算法。實驗表明啟發(fā)式離線算法的運行速度幾乎是近似離線算法的兩倍，相比全部使用實時虛擬機的方法，兩種離線算法均能節(jié)省大約27％的成本，在線算法能節(jié)省大約14%的成本。與已有的只考慮一種預(yù)留實例的算法相比，本文提出的算法更具有實用性。
　　在數(shù)據(jù)中心選擇階段，本文

4、研究了虛擬機部署時基于聚類的數(shù)據(jù)中心選擇和大數(shù)據(jù)向云端遷移時數(shù)據(jù)中心選擇兩個問題。第一個問題的目標(biāo)是優(yōu)化數(shù)據(jù)中心間通信時延和帶寬。為某大型任務(wù)或者某組織服務(wù)的一組相互通信的虛擬機可能會跨越多個數(shù)據(jù)中心，所以需要極小化最大的數(shù)據(jù)中心間的距離，以便極小化通信時延，同時節(jié)省昂貴的數(shù)據(jù)中心間的長途帶寬。本文首先提出了基于密度聚類的2-近似數(shù)據(jù)中心選擇算法。相比已有的只考慮數(shù)據(jù)中心間距離的方法，該算法能充分利用數(shù)據(jù)中心的組網(wǎng)拓撲屬性、稠密屬性以及

5、容量信息，效率提升了約15%～72%。然后建立了虛擬機半通信模型，并提出了基于該模型的虛擬機劃分算法將虛擬機分組并對應(yīng)到已選定的數(shù)據(jù)中心。實驗表明，該算法不僅能進一步減少數(shù)據(jù)中心間的帶寬消耗，而且運行速度比已有算法快2倍左右。所有算法均適用于虛擬機同構(gòu)或異構(gòu)的場景，克服了已有算法只適用于虛擬機同構(gòu)場景的局限性。第二個問題的目標(biāo)是為分布式大數(shù)據(jù)選擇合適的數(shù)據(jù)中心，將數(shù)據(jù)遷移到云端，既可保證快速的本地數(shù)據(jù)接入又能實現(xiàn)低成本數(shù)據(jù)遷移和處理。本

6、文首先分析了大數(shù)據(jù)遷移時的四種目標(biāo)：即公平數(shù)據(jù)放置、優(yōu)選數(shù)據(jù)放置、傳輸成本最小化數(shù)據(jù)放置和總成本最小化數(shù)據(jù)放置。然后采用二分圖對問題進行了建模。針對前兩種目標(biāo)，提出了一種基于組合優(yōu)化的緊的3-近似算法。針對后兩種目標(biāo)，提出了一種最近數(shù)據(jù)中心優(yōu)先的啟發(fā)式算法。所給兩種算法能夠降低接入時延和成本，解決因法規(guī)限制或者用戶偏好引起的部分數(shù)據(jù)中心不可用的問題，彌補了已有方法默認全部數(shù)據(jù)中心均可用的不足。
　　在服務(wù)器選擇階段，需要實現(xiàn)服務(wù)質(zhì)

7、量可感知的低成本服務(wù)器選擇。服務(wù)器和組網(wǎng)占了數(shù)據(jù)中心總成本的60%左右。如何有效部署虛擬機以盡可能地節(jié)省成本，并保證服務(wù)質(zhì)量，對于提高云服務(wù)提供商的競爭力起著舉足輕重的作用?？紤]異構(gòu)服務(wù)器以及虛擬機多種資源需求的隨機性，該問題被形式化為一個多目標(biāo)非線性規(guī)劃。通過利用數(shù)據(jù)中心的組網(wǎng)拓撲信息，具有更大通信量的虛擬機被盡可能地部署在一起，減少了通信時延并節(jié)省了服務(wù)器之間帶寬消耗。同時，統(tǒng)計復(fù)用和新定義的“相似性”方法被用來整合虛擬機，資源容量

8、違約被盡可能地限定在指定的極小概率內(nèi)。這樣的部署方案既不會影響服務(wù)質(zhì)量，又可以節(jié)省服務(wù)器和網(wǎng)絡(luò)成本。本文分別針對離線和在線場景給出了啟發(fā)式算法。與已有算法比較，實驗顯示本文所給算法能更多地節(jié)省包括服務(wù)器，帶寬在內(nèi)的多種資源成本，而且運行更快。
　　本文最后考慮了跨數(shù)據(jù)中心大數(shù)據(jù)處理時數(shù)據(jù)中心和服務(wù)器的協(xié)同選擇問題?？紤]到將跨全球分布的數(shù)據(jù)全部遷移到同一個數(shù)據(jù)中心進行分析不一定可行，而已廣為接受的大數(shù)據(jù)分析框架Hadoop卻只能處理