混合云環(huán)境下科學(xué)工作流數(shù)據(jù)布局研究.pdf

1、隨著互聯(lián)網(wǎng)和數(shù)據(jù)存儲技術(shù)的發(fā)展和普及，數(shù)據(jù)密集型應(yīng)用已經(jīng)廣泛的應(yīng)用于天氣預(yù)報、天體物理、生物信息等科學(xué)計算領(lǐng)域。這種數(shù)據(jù)密集型應(yīng)用程序處理的數(shù)據(jù)量十分巨大，通常達TB甚至PB級，并且應(yīng)用程序數(shù)據(jù)之間都存在著一定的關(guān)聯(lián)關(guān)系，通過使用工作流技術(shù)，能夠?qū)崿F(xiàn)讓各種具有復(fù)雜計算特性的任務(wù)自動化執(zhí)行，使用工作流技術(shù)的數(shù)據(jù)密集型應(yīng)用又稱為科學(xué)工作流。云計算作為典型的應(yīng)用分布式網(wǎng)絡(luò)的計算技術(shù)之一，能夠以相對便宜的軟硬件設(shè)施為科學(xué)工作流應(yīng)用提供執(zhí)行所需的

2、存儲和計算資源，為其提供一種全新的廉價部署和執(zhí)行方案。將科學(xué)工作流應(yīng)用部署在云計算環(huán)境中，一方面可以節(jié)約大量的執(zhí)行成本，同時也為分布在世界各地通過Internet相互協(xié)作的科研人員提供了一種資源共享與合作研究的平臺。
　　然而云計算系統(tǒng)在動態(tài)的為科學(xué)工作流應(yīng)用提供其執(zhí)行所需的高性能計算資源和海量存儲空間的同時也給用戶的隱私保護與信息資產(chǎn)安全帶來非常大的沖擊與挑戰(zhàn)。Gartner在2012年關(guān)于云計算的調(diào)查結(jié)果表明，70％以上接受調(diào)

3、查的企業(yè)CTO認(rèn)為近期不考慮應(yīng)用云計算的主要原因為云計算存在數(shù)據(jù)安全性與隱私性的保護隱患。此外，數(shù)據(jù)是有重量的，當(dāng)用戶將數(shù)據(jù)存在云計算服務(wù)商提供的遠程服務(wù)器中，數(shù)據(jù)就變得異常繁重而難以遷移，數(shù)據(jù)遷移成本比存儲數(shù)據(jù)成本昂貴的多。
　　為了適應(yīng)企業(yè)的安全性和遷移需求，云計算演變?yōu)楣性?、私有云和混合云。公有云具備更好的擴展性和靈活性，適合部署開放性的應(yīng)用程序;而私有云更加安全而且便于控制，適合部署關(guān)鍵數(shù)據(jù)和敏感數(shù)據(jù)。混合云是新的云計算

4、架構(gòu)，是公有云計算和私有云計算的混合，具備擴展性和安全性雙重特性的云計算模式?？梢愿鶕?jù)不同的應(yīng)用需求以及成本約束的考慮，靈活的在公共云和私有云之間選擇或并用，來構(gòu)建具有高可用性、動態(tài)擴展性、高安全性的計算中心和資源中心，形成混合云的應(yīng)用模式。
　　公有云是一種將IT的相關(guān)資源以服務(wù)的方式提供給用戶使用，用戶通過付費按需獲取的計算模式。部署在混合云環(huán)境中的科學(xué)工作流應(yīng)用，其執(zhí)行過程是混合云環(huán)境中公有云和私有云協(xié)作的過程，該過程中跨數(shù)

5、據(jù)中心數(shù)據(jù)移動難以避免，給部署在混合云環(huán)境中的科學(xué)工作流帶來了2個問題:(1)跨數(shù)據(jù)中心數(shù)據(jù)移動會產(chǎn)生很長的時間開銷;(2)跨數(shù)據(jù)中心數(shù)據(jù)移動會產(chǎn)生很高的傳輸費用。本文針對上述兩個問題分別提出了兩種不同的數(shù)據(jù)布局策略。
　　針對傳輸時間問題，傳統(tǒng)數(shù)據(jù)布局方法采用負(fù)載均衡劃分模型，劃分?jǐn)?shù)據(jù)關(guān)聯(lián)矩陣，布局?jǐn)?shù)據(jù)集。然而沒有考慮平衡負(fù)載引起的傳輸時間開銷。我們提出了一種新型的基于數(shù)據(jù)關(guān)聯(lián)破壞度的劃分模型，基于該模型提出了一種優(yōu)化傳輸時間的

6、數(shù)據(jù)布局方法，該方法包含2個算法:初始階段靜態(tài)布局算法和運行階段動態(tài)布局算法。實驗表明，本文算法能夠有效的降低科學(xué)工作流執(zhí)行時跨數(shù)據(jù)中心數(shù)據(jù)傳輸時間。
　　針對傳輸費用問題，目前學(xué)者通常是從單個數(shù)據(jù)密集型應(yīng)用的角度研究降低數(shù)據(jù)傳輸費用。然而工作流系統(tǒng)一般都包含多個工作流，并且工作流相互之間共享數(shù)據(jù)。傳統(tǒng)單工作流數(shù)據(jù)布局優(yōu)化算法對多工作流優(yōu)化效果有限。我們將從全局的角度建立基于多科學(xué)工作流數(shù)據(jù)關(guān)聯(lián)圖的傳輸費用模型，研究基于二進制粒子

7、群算法BPSO(Binary Particle Swarm Optimization)的數(shù)據(jù)布局優(yōu)化策略，從而減少對云計算傳輸資源的使用費用。
　　本文通過對混合云計算模式進行模擬，建立混合云數(shù)據(jù)中心模擬環(huán)境，并對本文提出的兩種數(shù)據(jù)布局策略與其相似的數(shù)據(jù)布局策略分別在數(shù)據(jù)傳輸時間，數(shù)據(jù)傳輸費用等方面進行對比實驗。實驗結(jié)果顯示，與其同類的數(shù)據(jù)布局策略對比可以發(fā)現(xiàn)，本文所提出的兩種數(shù)據(jù)布局策略具有更好的綜合性能，不僅對混合云環(huán)境下科學(xué)