混合云環(huán)境下科學(xué)工作流數(shù)據(jù)布局研究.pdf

1、隨著互聯(lián)網(wǎng)和數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展和普及，數(shù)據(jù)密集型應(yīng)用已經(jīng)廣泛的應(yīng)用于天氣預(yù)報(bào)、天體物理、生物信息等科學(xué)計(jì)算領(lǐng)域。這種數(shù)據(jù)密集型應(yīng)用程序處理的數(shù)據(jù)量十分巨大，通常達(dá)TB甚至PB級(jí)，并且應(yīng)用程序數(shù)據(jù)之間都存在著一定的關(guān)聯(lián)關(guān)系，通過(guò)使用工作流技術(shù)，能夠?qū)崿F(xiàn)讓各種具有復(fù)雜計(jì)算特性的任務(wù)自動(dòng)化執(zhí)行，使用工作流技術(shù)的數(shù)據(jù)密集型應(yīng)用又稱(chēng)為科學(xué)工作流。云計(jì)算作為典型的應(yīng)用分布式網(wǎng)絡(luò)的計(jì)算技術(shù)之一，能夠以相對(duì)便宜的軟硬件設(shè)施為科學(xué)工作流應(yīng)用提供執(zhí)行所需的

2、存儲(chǔ)和計(jì)算資源，為其提供一種全新的廉價(jià)部署和執(zhí)行方案。將科學(xué)工作流應(yīng)用部署在云計(jì)算環(huán)境中，一方面可以節(jié)約大量的執(zhí)行成本，同時(shí)也為分布在世界各地通過(guò)Internet相互協(xié)作的科研人員提供了一種資源共享與合作研究的平臺(tái)。
　　然而云計(jì)算系統(tǒng)在動(dòng)態(tài)的為科學(xué)工作流應(yīng)用提供其執(zhí)行所需的高性能計(jì)算資源和海量存儲(chǔ)空間的同時(shí)也給用戶(hù)的隱私保護(hù)與信息資產(chǎn)安全帶來(lái)非常大的沖擊與挑戰(zhàn)。Gartner在2012年關(guān)于云計(jì)算的調(diào)查結(jié)果表明，70％以上接受調(diào)

3、查的企業(yè)CTO認(rèn)為近期不考慮應(yīng)用云計(jì)算的主要原因?yàn)樵朴?jì)算存在數(shù)據(jù)安全性與隱私性的保護(hù)隱患。此外，數(shù)據(jù)是有重量的，當(dāng)用戶(hù)將數(shù)據(jù)存在云計(jì)算服務(wù)商提供的遠(yuǎn)程服務(wù)器中，數(shù)據(jù)就變得異常繁重而難以遷移，數(shù)據(jù)遷移成本比存儲(chǔ)數(shù)據(jù)成本昂貴的多。
　　為了適應(yīng)企業(yè)的安全性和遷移需求，云計(jì)算演變?yōu)楣性?、私有云和混合云。公有云具備更好的擴(kuò)展性和靈活性，適合部署開(kāi)放性的應(yīng)用程序;而私有云更加安全而且便于控制，適合部署關(guān)鍵數(shù)據(jù)和敏感數(shù)據(jù)?；旌显剖切碌脑朴?jì)算

4、架構(gòu)，是公有云計(jì)算和私有云計(jì)算的混合，具備擴(kuò)展性和安全性雙重特性的云計(jì)算模式?？梢愿鶕?jù)不同的應(yīng)用需求以及成本約束的考慮，靈活的在公共云和私有云之間選擇或并用，來(lái)構(gòu)建具有高可用性、動(dòng)態(tài)擴(kuò)展性、高安全性的計(jì)算中心和資源中心，形成混合云的應(yīng)用模式。
　　公有云是一種將IT的相關(guān)資源以服務(wù)的方式提供給用戶(hù)使用，用戶(hù)通過(guò)付費(fèi)按需獲取的計(jì)算模式。部署在混合云環(huán)境中的科學(xué)工作流應(yīng)用，其執(zhí)行過(guò)程是混合云環(huán)境中公有云和私有云協(xié)作的過(guò)程，該過(guò)程中跨數(shù)

5、據(jù)中心數(shù)據(jù)移動(dòng)難以避免，給部署在混合云環(huán)境中的科學(xué)工作流帶來(lái)了2個(gè)問(wèn)題:(1)跨數(shù)據(jù)中心數(shù)據(jù)移動(dòng)會(huì)產(chǎn)生很長(zhǎng)的時(shí)間開(kāi)銷(xiāo);(2)跨數(shù)據(jù)中心數(shù)據(jù)移動(dòng)會(huì)產(chǎn)生很高的傳輸費(fèi)用。本文針對(duì)上述兩個(gè)問(wèn)題分別提出了兩種不同的數(shù)據(jù)布局策略。
　　針對(duì)傳輸時(shí)間問(wèn)題，傳統(tǒng)數(shù)據(jù)布局方法采用負(fù)載均衡劃分模型，劃分?jǐn)?shù)據(jù)關(guān)聯(lián)矩陣，布局?jǐn)?shù)據(jù)集。然而沒(méi)有考慮平衡負(fù)載引起的傳輸時(shí)間開(kāi)銷(xiāo)。我們提出了一種新型的基于數(shù)據(jù)關(guān)聯(lián)破壞度的劃分模型，基于該模型提出了一種優(yōu)化傳輸時(shí)間的

6、數(shù)據(jù)布局方法，該方法包含2個(gè)算法:初始階段靜態(tài)布局算法和運(yùn)行階段動(dòng)態(tài)布局算法。實(shí)驗(yàn)表明，本文算法能夠有效的降低科學(xué)工作流執(zhí)行時(shí)跨數(shù)據(jù)中心數(shù)據(jù)傳輸時(shí)間。
　　針對(duì)傳輸費(fèi)用問(wèn)題，目前學(xué)者通常是從單個(gè)數(shù)據(jù)密集型應(yīng)用的角度研究降低數(shù)據(jù)傳輸費(fèi)用。然而工作流系統(tǒng)一般都包含多個(gè)工作流，并且工作流相互之間共享數(shù)據(jù)。傳統(tǒng)單工作流數(shù)據(jù)布局優(yōu)化算法對(duì)多工作流優(yōu)化效果有限。我們將從全局的角度建立基于多科學(xué)工作流數(shù)據(jù)關(guān)聯(lián)圖的傳輸費(fèi)用模型，研究基于二進(jìn)制粒子

7、群算法BPSO(Binary Particle Swarm Optimization)的數(shù)據(jù)布局優(yōu)化策略，從而減少對(duì)云計(jì)算傳輸資源的使用費(fèi)用。
　　本文通過(guò)對(duì)混合云計(jì)算模式進(jìn)行模擬，建立混合云數(shù)據(jù)中心模擬環(huán)境，并對(duì)本文提出的兩種數(shù)據(jù)布局策略與其相似的數(shù)據(jù)布局策略分別在數(shù)據(jù)傳輸時(shí)間，數(shù)據(jù)傳輸費(fèi)用等方面進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示，與其同類(lèi)的數(shù)據(jù)布局策略對(duì)比可以發(fā)現(xiàn)，本文所提出的兩種數(shù)據(jù)布局策略具有更好的綜合性能，不僅對(duì)混合云環(huán)境下科學(xué)