云計(jì)算架構(gòu)比較和關(guān)鍵技術(shù)講解

1、云計(jì)算——Cloud Computing,,近年來，云計(jì)算已成為IT業(yè)界最熱門的研究方向之一。幾乎所有的主流IT廠商都在談?wù)撛朴?jì)算，既包括硬件廠商（IBM、英特爾等）、軟件開發(fā)商（微軟等），也包括互聯(lián)網(wǎng)服務(wù)提供商（Google、Amazon等）和電信運(yùn)營商（AT&T、中國移動(dòng)等）。這些企業(yè)覆蓋了整個(gè)IT產(chǎn)業(yè)鏈，構(gòu)建了一個(gè)完整的云計(jì)算生態(tài)系統(tǒng)。,引言,2,,引言,什么是云計(jì)算?,3,云計(jì)算的最終目標(biāo)是將計(jì)算、服務(wù)和應(yīng)用作為一種公

2、共設(shè)施提供給公眾，使人們能夠像使用水、電、煤氣和電話那樣使用計(jì)算機(jī)資源。,引言,4,云計(jì)算概述云計(jì)算體系結(jié)構(gòu)云計(jì)算關(guān)鍵技術(shù)云計(jì)算研究現(xiàn)狀云計(jì)算機(jī)遇與挑戰(zhàn)云計(jì)算與分布式處理,目錄,5,1.1 云計(jì)算起源,2006年3月，亞馬遜推出彈性計(jì)算云服務(wù)。2006年8月9日，Google首席執(zhí)行官埃里克·施密特在搜索引擎大會(huì)首次提出“云計(jì)算”的概念。2007年10月，Google與IBM開始在美國大學(xué)校園，推廣云計(jì)算的計(jì)

3、劃，這項(xiàng)計(jì)劃希望能降低分散式計(jì)算技術(shù)在學(xué)術(shù)研究方面的成本，并為這些大學(xué)提供相關(guān)的軟硬件設(shè)備及技術(shù)支持。2008年7月29日，雅虎、惠普和英特爾宣布一項(xiàng)涵蓋美國、德國和新加坡的聯(lián)合研究計(jì)劃，推出云計(jì)算研究測(cè)試床，推進(jìn)云計(jì)算。該計(jì)劃要與合作伙伴創(chuàng)建6個(gè)數(shù)據(jù)中心作為研究試驗(yàn)平臺(tái)，每個(gè)數(shù)據(jù)中心配置1400個(gè)至4000個(gè)處理器。2008年8月3日，戴爾正在申請(qǐng)“云計(jì)算” 商標(biāo)。戴爾在申請(qǐng)文件中稱，云計(jì)算是“在數(shù)據(jù)中心和巨型規(guī)模的計(jì)算環(huán)境中，為

4、他人提供計(jì)算機(jī)硬件定制制造”。,6,1.1 云計(jì)算起源,2010年3月5日，Novell與云安全聯(lián)盟（CSA）共同宣布一項(xiàng)供應(yīng)商中立計(jì)劃，名為“可信任云計(jì)算計(jì)劃”。2010年7月，美國國家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開放源代碼計(jì)劃。微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成；而Ubuntu已把Open

5、Stack加至11.04版本中。2011年2月，思科系統(tǒng)正式加入OpenStack，重點(diǎn)研制OpenStack的網(wǎng)絡(luò)服務(wù)。,7,1.1 云計(jì)算起源（續(xù)）,計(jì)算資源的演進(jìn)：從集中到分步再到集中,,,,計(jì)算時(shí)代,網(wǎng)絡(luò)時(shí)代,云時(shí)代,8,1.2 云計(jì)算發(fā)展路線,,9,,,,1.2.1 并行計(jì)算,,10,Parallel Computing是指同時(shí)使用多種計(jì)算資源解決計(jì)算問題的過程，其主要目的是快速解決大型且復(fù)雜的計(jì)算問題特點(diǎn)：把計(jì)

6、算任務(wù)分派給系統(tǒng)內(nèi)的多個(gè)運(yùn)算單元并行機(jī)的多CPU和多存儲(chǔ)器并行計(jì)算問題的特征將工作分離成離散部分，有助于同時(shí)解決隨時(shí)并及時(shí)地執(zhí)行多個(gè)程序指令（多CPU同時(shí)運(yùn)行）多計(jì)算資源下解決問題的耗時(shí)要少于單個(gè)計(jì)算資源下的耗時(shí),1.2.2 分布式計(jì)算,,11,Distributed Computing所謂分布式計(jì)算是一門計(jì)算機(jī)科學(xué)，它研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處

7、理，最后把這些計(jì)算結(jié)果綜合起來得到最終的結(jié)果。特點(diǎn)：把計(jì)算任務(wù)分派給網(wǎng)絡(luò)中的多臺(tái)獨(dú)立的機(jī)器優(yōu)點(diǎn)：稀有資源可以共享 通過分布式計(jì)算可以在多臺(tái)計(jì)算機(jī)上平衡計(jì)算負(fù)載 可以把程序放在最適合運(yùn)行它的計(jì)算機(jī)上,1.2.3 云計(jì)算,12,,,,硬件為中心,軟件為中心,服務(wù)為中心,數(shù)據(jù)在云端：不怕丟失，不必備份；軟件在云端：不必下載自動(dòng)升級(jí)；無所不在的計(jì)算：在任何時(shí)間、任何地點(diǎn)、任何設(shè)備登錄即可進(jìn)行計(jì)算服務(wù)；強(qiáng)大的計(jì)算：空間大，快速度

8、。,1.2.3 云計(jì)算（續(xù)）,,13,電：從購買發(fā)電設(shè)備到購買電力服務(wù),信息：從購買軟硬件到購買信息服務(wù),發(fā)電機(jī),現(xiàn)代發(fā)電廠,,,計(jì)算,軟件,存儲(chǔ),,信息服務(wù)提供商,,,有了云計(jì)算，廣大用戶無需自購軟、硬件，甚至無需知道是誰提供的服務(wù)，只關(guān)注自己真正需要什么樣的資源或者得到什么樣的服務(wù)。,1.3 云計(jì)算定義,維基百科：是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。Google ：將所

9、有的計(jì)算和應(yīng)用放置在“云”中，設(shè)備終端不需要安裝任何東西，通過互聯(lián)網(wǎng)絡(luò)來分享程序和服務(wù)。微軟：認(rèn)為云計(jì)算的應(yīng)是“云+端”的計(jì)算，將計(jì)算資源分散分布，部分資源放在云上，部分資源放在用戶終端，部分資源放在合作伙伴處，最終由用戶選擇合理的計(jì)算資源分布。美國國家標(biāo)準(zhǔn)與技術(shù)實(shí)驗(yàn)室：云計(jì)算是一個(gè)提供便捷的通過互聯(lián)網(wǎng)訪問一個(gè)可定制的IT 資源共享池能力的按使用量付費(fèi)模式（IT 資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用，服務(wù)），這些資源能夠快速部署，并只需

10、要很少的管理工作或很少的與服務(wù)供應(yīng)商的交互；,到目前為止， 云計(jì)算還沒有一個(gè)統(tǒng)一的定義。云計(jì)算領(lǐng)先者如Google、Microsoft 等IT 廠商，依據(jù)各自的利益和各自不同的研究視角都給出了對(duì)云計(jì)算的定義和理解。,14,1.3 云計(jì)算定義(續(xù)),狹義云計(jì)算 狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式，通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源（硬件、平臺(tái)、軟件）。廣義云計(jì)算 廣義云計(jì)算是指服務(wù)的交付和使用

11、模式，通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其它的服務(wù)。,15,1.4 云計(jì)算基本特征,16,1.5 云計(jì)算優(yōu)勢(shì),17,按需服務(wù),快速服務(wù),通用性,高可靠性,極其廉價(jià),超大規(guī)模,虛擬化,高擴(kuò)展性,1.6 云計(jì)算模式,18,軟件即服務(wù)（SaaS）——Software as a Service平臺(tái)即服務(wù)（PaaS）—— Platform as a Service基礎(chǔ)設(shè)施既服

12、務(wù)（IaaS）—— Infrastructure as a Service,1.6 云計(jì)算模式(續(xù)),19,服務(wù)多租賃化,平臺(tái)可伸縮化,資源虛擬化,云計(jì)算的服務(wù)體系,1.6.1 軟件即服務(wù)（SaaS）,20,提供給客戶的服務(wù)是服務(wù)商運(yùn)行在云計(jì)算基礎(chǔ)設(shè)施上的應(yīng)用程序，可以在各種客戶端設(shè)備上通過瘦客戶端界面訪問，比如瀏覽器?？蛻舨恍枰芾砘蚩刂频牡讓拥脑朴?jì)算基礎(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)，甚至單個(gè)應(yīng)用程序的功能.

13、 如：Google APPS、SoftWare+Services；,1.6.2 平臺(tái)即服務(wù)（PaaS）,21,提供給客戶的是將客戶用供應(yīng)商提供的開發(fā)語言和工具（例如Java，python,.Net）創(chuàng)建的應(yīng)用程序部署到云計(jì)算基礎(chǔ)設(shè)施上去?？蛻舨恍枰芾砘蚩刂频牡讓拥脑苹A(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)，但客戶能控制部署的應(yīng)用程序，也可能控制應(yīng)用的托管環(huán)境配置。如：IBM IT Factory、Google APPEngine

14、、Force.com；,SaaS & PaaS 示例,22,,,,,定制化硬件，集裝箱式數(shù)據(jù)中心,,云計(jì)算IT平臺(tái),Google應(yīng)用,,托管的第三方應(yīng)用,Google 云計(jì)算IT架構(gòu),搜索,廣告,VoIP/IM,地圖服務(wù),照片分享,郵件,視頻分享,辦公套件,日歷,GFS,BigTable,MapReduce,集群管理,－SaaS & PaaS,1.6.3 基礎(chǔ)設(shè)施即服務(wù)（IaaS）,23,提供給客戶的是出租處理能力、存儲(chǔ)

15、、網(wǎng)絡(luò)和其它基本的計(jì)算資源，用戶能夠部署和運(yùn)行任意軟件，包括操作系統(tǒng)和應(yīng)用程序?？蛻舨还芾砘蚩刂频牡讓拥脑朴?jì)算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)、儲(chǔ)存、部署的應(yīng)用，也有可能選擇網(wǎng)絡(luò)組件（例如，防火墻，負(fù)載均衡器）。如： Amazo Ec2、IBM Blue Cloud、Sun Grid；,實(shí)例,24,戰(zhàn)略：利用內(nèi)部IT資源平臺(tái)，對(duì)外提供IT公用服務(wù)作為云計(jì)算的推動(dòng)者，Amazon 歷經(jīng)2年多時(shí)間形成了基本成熟的云計(jì)算服務(wù),商業(yè)模式計(jì)算，

16、存儲(chǔ)，帶寬等IT基礎(chǔ)設(shè)施出租Web基礎(chǔ)能力，電子商務(wù)基本能力作為服務(wù)出租按需使用，按需付費(fèi)網(wǎng)上支付客戶互聯(lián)網(wǎng)應(yīng)用開發(fā)者企業(yè)（納斯達(dá)克，紐約時(shí)報(bào)）面向全球，目前主要集中在北美和歐洲，09年已經(jīng)啟動(dòng)中國市場(chǎng)拓展合作伙伴IBM、Microsoft、Oracle、Google、Apple,,,,,Amazon Technology Platform（計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)）,EC2,S3,Simple DB,SQS,DevPay,

17、FPS,MT,AlexaSearch,FWS,Other…,計(jì)算,支付,訂單履行,搜索,人工智能,AWS – Amazon Web Services,存儲(chǔ),數(shù)據(jù)庫,消息隊(duì)列,計(jì)費(fèi),,,,,,,,,,其他設(shè)施能力,進(jìn)展到08年11月為止，已經(jīng)有45萬開發(fā)者基于Amazon AWS開發(fā)Web應(yīng)用存儲(chǔ)對(duì)象數(shù)從07年4月份50億增長到08年10月份的290億，在一年半的時(shí)間里增長6倍08年云服務(wù)收入約4億美金,,25,1.7 云計(jì)算部署

18、模式,26,部署層次的類型,27,1.7 云計(jì)算部署模式（續(xù)）,1.8 云計(jì)算推動(dòng)力量,28,虛擬化技術(shù)寬帶的普及互聯(lián)網(wǎng)應(yīng)用增加服務(wù)器瀏覽器開發(fā)技術(shù)的進(jìn)步IT基礎(chǔ)設(shè)施利用率低下數(shù)據(jù)中心能耗問題突出IT管理與維護(hù)成本提高….,云計(jì)算的基本原理是通過使計(jì)算分布在大量的計(jì)算服務(wù)器上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。,2 云計(jì)算

19、體系結(jié)構(gòu),29,2.1云計(jì)算體系邏輯結(jié)構(gòu),30,云用戶端：提供云用戶請(qǐng)求服務(wù)的交互界面，也是用戶使用云的入口，用戶通過Web瀏覽器可以注冊(cè)、登錄及定制服務(wù)、配置和管理用戶。打開應(yīng)用實(shí)例與本地操作桌面系統(tǒng)一樣。服務(wù)目錄：云用戶在取得相應(yīng)的權(quán)限后可以選擇或定制的服務(wù)列表，也可以對(duì)已有服務(wù)進(jìn)行退訂的操作，在云用戶端界面生產(chǎn)相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)服務(wù)。,2.1 云計(jì)算體系邏輯結(jié)構(gòu)(續(xù)),31,管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理

20、云用戶，能對(duì)用戶授權(quán)、認(rèn)證、登錄進(jìn)行管理，并可以管理可用計(jì)算資源和服務(wù)，接收用戶發(fā)送的請(qǐng)求，根據(jù)用戶請(qǐng)求轉(zhuǎn)發(fā)相應(yīng)的程序，調(diào)度資源智能地部署資源和應(yīng)用，動(dòng)態(tài)部署、配置和回收資源。監(jiān)控：監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況，以便做出迅速反應(yīng)，完成借點(diǎn)同步配置、負(fù)載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)來管理負(fù)載、高并發(fā)量的用戶請(qǐng)求處理、大運(yùn)算量計(jì)算處理、用戶Web應(yīng)用服務(wù)，云數(shù)據(jù)存儲(chǔ)時(shí)

21、采用相應(yīng)數(shù)據(jù)切割算法，采用并行方式上傳和下載大容量數(shù)據(jù)。用戶可以通過云用戶端從列表中選擇所需的服務(wù)，其請(qǐng)求通過管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過部署工具分發(fā)請(qǐng)求、配置Web應(yīng)用。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu),32,33,云計(jì)算技術(shù)體系結(jié)構(gòu)分為4層：物理資源層、資源池層、管理中間件層和SOA構(gòu)建層（如上圖）；物理資源層包括計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等；資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計(jì)算資源池、數(shù)據(jù)

22、資源池等。構(gòu)建資源池更多是物理資源的集成和管理工作，例如研究在一個(gè)標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個(gè)服務(wù)器、解決散熱和故障節(jié)點(diǎn)替換的問題并降低能耗。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,34,管理中間件負(fù)責(zé)對(duì)云計(jì)算的資源進(jìn)行管理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)；SOA構(gòu)建層將云計(jì)算能力封裝成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系進(jìn)行管理和使用，包括服務(wù)注冊(cè)、查找、訪問和構(gòu)建服務(wù)工作流等。管理

23、中間件和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,35,計(jì)算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。資源管理負(fù)責(zé)均衡地使用云資源節(jié)點(diǎn)，檢測(cè)節(jié)點(diǎn)的故障并試圖恢復(fù)或屏蔽之，并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)；任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等等；,2.2云計(jì)算技術(shù)系統(tǒng)

24、結(jié)構(gòu)（續(xù)）,36,用戶管理是實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識(shí)別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等；安全管理保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計(jì)等。,2.2云計(jì)算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,2.3 云計(jì)算和下一代IT架構(gòu),37,集成&開發(fā),用戶界面 & 接口,,虛擬應(yīng)用,強(qiáng)化:減少費(fèi)用& 提高質(zhì)量,虛擬化:簡單接入,提高終

25、端用戶管理& 使用最大化,自動(dòng)化:提高速度和預(yù)言性 & 減少勞動(dòng)力,38,商業(yè)流程,集成&開發(fā),,虛擬信息,虛擬存儲(chǔ),虛擬進(jìn)程,底層結(jié)構(gòu)虛擬,,,虛擬應(yīng)用,云計(jì)算應(yīng)用(“Software-as-a-Service”),用戶界面 & 接口,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),39,Integration, Event & Deployment,,協(xié)作消息,,集成&開發(fā),,,,,云

26、平臺(tái)(“Platform-as-a-Service”),商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,底層結(jié)構(gòu)虛擬,虛擬存儲(chǔ),虛擬進(jìn)程,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),40,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,虛擬應(yīng)用,,虛擬信息,集成 & 開發(fā),云協(xié)作,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),41,商業(yè)流程,,協(xié)作/消息,服務(wù)/資源管理 & 安全,集成 & 開發(fā),用戶界面

27、 & 接口,,虛擬應(yīng)用,,虛擬信息,,,,虛擬存儲(chǔ),虛擬進(jìn)程,底層結(jié)構(gòu)虛擬,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),42,服務(wù)/資源管理 & 安全,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,,虛擬應(yīng)用,,Virtualized Information,,,,,底層結(jié)構(gòu)虛擬,,虛擬進(jìn)程,,虛擬存儲(chǔ),集成 & 開發(fā),,,,,虛擬信息,基礎(chǔ)設(shè)施(“Infrastructure-as-a-Serv

28、ice”)軟件(“Software-as-a-Service”),,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),43,Service/Resource Mgmt & Security,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,,虛擬應(yīng)用,Virtualized Information,,,,,底層虛擬結(jié)構(gòu),,虛擬進(jìn)程,,虛擬儲(chǔ)存,集成 & 開發(fā),,,,,虛擬信息,43,2.3 云計(jì)算和下一代IT架構(gòu)(續(xù)),

29、虛擬化技術(shù)分布式技術(shù)數(shù)據(jù)中心構(gòu)建技術(shù)云計(jì)算安全技術(shù)云計(jì)算編程模型…….,3. 云計(jì)算關(guān)鍵技術(shù),44,云計(jì)算的目標(biāo)是以低成本的方式提供高可靠、高可用、規(guī)?？缮炜s的個(gè)性化服務(wù)。為了達(dá)到這個(gè)目標(biāo)，需要數(shù)據(jù)中心管理、虛擬化、海量數(shù)據(jù)處理、資源管理與調(diào)度、QoS 保證、安全與隱私保護(hù)等若干關(guān)鍵技術(shù)加以支持。,云計(jì)算與相關(guān)技術(shù)的聯(lián)系,45,46,云計(jì)算體系架構(gòu),IaaS 層是云計(jì)算的基礎(chǔ)。通過建立大規(guī)模數(shù)據(jù)中心，IaaS 層為上層云計(jì)算服

30、務(wù)提供海量硬件資源。同時(shí)，在虛擬化技術(shù)的支持下，IaaS 層可以實(shí)現(xiàn)硬件資源的按需配置，并提供個(gè)性化的基礎(chǔ)設(shè)施服務(wù)。主要研究問題：如何建設(shè)低成本、高效能的數(shù)據(jù)中心；如何拓展虛擬化技術(shù)，實(shí)現(xiàn)彈性、可靠的基礎(chǔ)設(shè)施服務(wù)。,3.1 IaaS 層關(guān)鍵技術(shù),47,數(shù)據(jù)中心相關(guān)技術(shù),48,,,,消除異構(gòu)化系統(tǒng)之間障礙快速動(dòng)態(tài)部署資源和服務(wù),云計(jì)算平臺(tái)對(duì)資源的獨(dú)立，兼容各類應(yīng)用平臺(tái)計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)資源的智能化統(tǒng)一管理面向業(yè)務(wù)的資源的定制化

31、部署,虛擬化技術(shù)與綠色科技結(jié)合，降低能耗先進(jìn)、高效、智能的系統(tǒng)散熱方案智能化的環(huán)境控制和能效管理系統(tǒng),,,,,虛擬化提高資源利用率，簡化管理維度，節(jié)省維護(hù)成本支持異構(gòu)資源兼容，實(shí)現(xiàn)業(yè)務(wù)的平滑升級(jí),,下一代數(shù)據(jù)中心的特征,基于云計(jì)算的基礎(chǔ)架構(gòu),虛擬化,智能,綠色,低成本,與傳統(tǒng)的企業(yè)數(shù)據(jù)中心不同，云計(jì)算數(shù)據(jù)中心具有以下特點(diǎn)自治性。規(guī)模經(jīng)濟(jì)。規(guī)模可擴(kuò)展。研究重點(diǎn)：① 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)以低成本、高帶寬、高可靠的

32、方式連接大規(guī)模計(jì)算節(jié)點(diǎn)；② 數(shù)據(jù)中心節(jié)能技術(shù),數(shù)據(jù)中心相關(guān)技術(shù),49,虛擬化技術(shù),50,虛擬化（Virtualization） 是將計(jì)算機(jī)物理資源如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲(chǔ)等予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，使用戶可以采用比原本的組態(tài)更好的方式來應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。包括： 軟件虛擬化 硬件輔助虛擬化 操作系統(tǒng)級(jí)虛擬化,虛擬化技術(shù),51,,非虛擬化環(huán)境 難以管理

33、 無靈活性 投資回報(bào)率低 眾多分立的采購,虛擬化技術(shù),52,數(shù)據(jù)中心為云計(jì)算提供了大規(guī)模資源。為了實(shí)現(xiàn)基礎(chǔ)設(shè)施服務(wù)的按需分配，需要研究虛擬化技術(shù)。虛擬化是IaaS 層的重要組成部分，也是云計(jì)算的最重要特點(diǎn)。虛擬化技術(shù)可以提供以下特點(diǎn)。資源分享資源定制細(xì)粒度資源管理 為了進(jìn)一步滿足云計(jì)算彈性服務(wù)和數(shù)據(jù)中心自治性的需求，需要研究虛擬機(jī)快速部署和在線遷移技術(shù)。虛擬機(jī)快速部署技術(shù)虛擬機(jī)在線遷移技術(shù),PaaS 層作為3

34、層核心服務(wù)的中間層，既為上層應(yīng)用提供簡單、可靠的分布式編程框架，又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù)，屏蔽底層系統(tǒng)的復(fù)雜性。隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)模的日益龐大，PaaS 層需要具備存儲(chǔ)與處理海量數(shù)據(jù)的能力。 主要技術(shù)包括：海量數(shù)據(jù)存儲(chǔ)與處理技術(shù)資源管理與調(diào)度技術(shù),3.2 PaaS 層關(guān)鍵技術(shù),53,海量數(shù)據(jù)存儲(chǔ)技術(shù) 云計(jì)算環(huán)境中的海量數(shù)據(jù)存儲(chǔ)既要考慮存儲(chǔ)系統(tǒng)的I/O 性能，又要保證文件系統(tǒng)的可靠性與可用性

35、。如為Google 設(shè)計(jì)了GFS（google file system），GFS 對(duì)其應(yīng)用環(huán)境做了6 點(diǎn)假設(shè)：①系統(tǒng)架設(shè)在容易失效的硬件平臺(tái)上；②需要存儲(chǔ)大量GB 級(jí)甚至TB 級(jí)的大文件；③文件讀操作以大規(guī)模的流式讀和小規(guī)模的隨機(jī)讀構(gòu)成；④文件具有一次寫多次讀的特點(diǎn)；⑤系統(tǒng)需要有效處理并發(fā)的追加寫操作；⑥高持續(xù)I/O 帶寬比低傳輸延遲重要。,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),54,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),55,GFS 執(zhí)行流程,數(shù)據(jù)處

36、理技術(shù)與編程模型PaaS 平臺(tái)不僅要實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)，而且要提供面向海量數(shù)據(jù)的分析處理功能。由于PaaS 平臺(tái)部署于大規(guī)模硬件資源上，所以海量數(shù)據(jù)的分析處理需要抽象處理過程，并要求其編程模型支持規(guī)模擴(kuò)展，屏蔽底層細(xì)節(jié)并且簡單有效。 如：MapReduce 是Google 提出的并行程序編程模型,海量數(shù)據(jù)存儲(chǔ)與處理技術(shù),56,MapReduce 的執(zhí)行過程,副本管理技術(shù)任務(wù)調(diào)度算法任務(wù)容錯(cuò)機(jī)制,資源管理與調(diào)度技術(shù),5

37、7,為了使云計(jì)算核心服務(wù)高效、安全地運(yùn)行，需要服務(wù)管理技術(shù)加以支持。服務(wù)管理技術(shù)包括:QoS保證機(jī)制安全與隱私保護(hù)技術(shù)資源監(jiān)控技術(shù)服務(wù)計(jì)費(fèi)模型….,3.3 服務(wù)管理層,58,4. 云計(jì)算研究現(xiàn)狀,59,IBM：藍(lán)云計(jì)劃谷歌：Google App Engine亞馬遜：彈性計(jì)算云Elastic Compute Cloud (EC2)微軟：Windows Azure platform惠普、英特爾、雅虎：Open Ci

38、rrus云計(jì)算測(cè)試平臺(tái)Salesforce：軟件服務(wù)提供商…,4. 云計(jì)算研究現(xiàn)狀,60,4. 云計(jì)算研究現(xiàn)狀,61,Google 101 計(jì)劃:卡耐基梅隆大學(xué)，MIT，斯坦福大學(xué)，加利福尼亞大學(xué)伯克利分校，馬里蘭大學(xué)和華盛頓大學(xué)。學(xué)生們學(xué)習(xí)如何調(diào)整自己的程序來適應(yīng)Google計(jì)算機(jī)，并雄心勃勃地設(shè)計(jì)開發(fā)網(wǎng)絡(luò)規(guī)模的項(xiàng)目這些數(shù)據(jù)可能用于開發(fā)新藥品和療法、制造新的清潔能源、甚至預(yù)測(cè)地震2007年一年就增加了4個(gè)新的數(shù)據(jù)中心，平均每

39、個(gè)成本達(dá)6億美元,4. 云計(jì)算研究現(xiàn)狀,62,Google,4. 云計(jì)算研究現(xiàn)狀,63,Google App Engine,4. 云計(jì)算研究現(xiàn)狀,64,Google App Engine,Google App Engine 提供運(yùn)行和開發(fā)的基礎(chǔ)平臺(tái)，允許開發(fā)人員編寫網(wǎng)絡(luò)應(yīng)用，上傳至App Engine部署運(yùn)行支持Java和Python兩種開發(fā)語言App Engine 應(yīng)用程序易于構(gòu)建和維護(hù)，并可根據(jù)訪問量和數(shù)據(jù)存儲(chǔ)需要，進(jìn)行伸縮。

40、將應(yīng)用程序隔離在它自己的安全可靠環(huán)境中，該環(huán)境與網(wǎng)絡(luò)服務(wù)器的硬件、操作系統(tǒng)和物理位置無關(guān),4. 云計(jì)算研究現(xiàn)狀,65,云計(jì)算時(shí)代的分布并行編程技術(shù)分布并行數(shù)據(jù)處理技術(shù)Google MapReduceHadoop MapReduce 分布式文件系統(tǒng)Google File SystemHadoop Distributed File System分布式數(shù)據(jù)庫Google BigTableHadoop HBase,

41、云計(jì)算的分布并行編程技術(shù),4. 云計(jì)算研究現(xiàn)狀,66,分布并行數(shù)據(jù)處理,MapReduce用于大規(guī)模數(shù)據(jù)并行處理數(shù)據(jù)量大（超過1TB）在成百上千個(gè)CPU上并行處理用戶只需實(shí)現(xiàn)下面接口map (in_key, in_value) -> (out_key, intermediate_value) listreduce (out_key, intermediate_value list) -> o

42、ut_value list,分布并行數(shù)據(jù)處理（續(xù)）,67,,MapReduce架構(gòu),4. MapReduce實(shí)現(xiàn)原理,68,,分布式文件系統(tǒng),69,Google File System（GFS）需求：在廉價(jià)、相對(duì)不可靠的計(jì)算機(jī)上對(duì)巨量數(shù)據(jù)進(jìn)行冗余存儲(chǔ)。 為什么不用現(xiàn)有的文件系統(tǒng)？--Google面對(duì)特殊的挑戰(zhàn)文件較大，每個(gè)都在100M以上，通常為幾個(gè)GB文件通常需要頻繁的追加用流方式讀取高吞吐量低延遲針對(duì)上述問題，GFS

43、在文件系統(tǒng)性能和可伸縮性方面進(jìn)行了優(yōu)化設(shè)計(jì)。,Google文件系統(tǒng)(GFS),70,Google48%,MSN19%,Yahoo33%,,,,,客戶端,,互為備份,管理節(jié)點(diǎn),,,GFS主節(jié)點(diǎn),,GFS主節(jié)點(diǎn),,C0,,C1,,C2,,C5,,數(shù)據(jù)結(jié)點(diǎn)1,,C0,,C2,,C5,,數(shù)據(jù)結(jié)點(diǎn)N,,C1,,,C5,,數(shù)據(jù)結(jié)點(diǎn)2,…,,,,,,,,,,,,,,,,,C1,分布式文件系統(tǒng)（續(xù)）,71,GFS的設(shè)計(jì)理念文件用塊存儲(chǔ)每個(gè)塊固

44、定為64MB通過冗余解決可靠性問題每個(gè)塊同時(shí)拷貝在3個(gè)塊服務(wù)器上主服務(wù)器負(fù)責(zé)協(xié)調(diào)訪問和保存元數(shù)據(jù)簡單化的集中管理定制化的API無數(shù)據(jù)緩存較大文件塊和流式讀取使得緩存效果不佳,分布式數(shù)據(jù)庫系統(tǒng),72,Google BigTable為了處理Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)而構(gòu)建的大規(guī)模分布式數(shù)據(jù)庫管理系統(tǒng) 特點(diǎn)面向大規(guī)模處理、容錯(cuò)性強(qiáng)的自我管理系統(tǒng)，擁有TB級(jí)的內(nèi)存和PB級(jí)的存儲(chǔ)能力，每秒可以處理數(shù)百萬的讀寫

45、操作能夠保存記錄的不同時(shí)段的版本構(gòu)建于GFS和MapReduce基礎(chǔ)之上,分布式數(shù)據(jù)庫系統(tǒng)（續(xù)）,73,BigTable的設(shè)計(jì)理念面向網(wǎng)頁數(shù)據(jù)的發(fā)布、搜索和瀏覽等特定處理的需要，簡化數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)，并提高性能不支持關(guān)聯(lián)不支持SQL查詢簡化數(shù)據(jù)的一致性管理網(wǎng)頁數(shù)據(jù)的管理對(duì)一致性要求不高簡化事務(wù)管理網(wǎng)頁數(shù)據(jù)的處理（搜索、發(fā)布）對(duì)事務(wù)管理要求不高面向海量數(shù)據(jù)管理要求設(shè)計(jì)分割和合并管理機(jī)制（基于元數(shù)據(jù)）設(shè)計(jì)自動(dòng)伸縮功

46、能（根據(jù)數(shù)據(jù)量調(diào)整資源用量）,分布式數(shù)據(jù)庫系統(tǒng)（續(xù)）,74,BigTable架構(gòu),國內(nèi)云計(jì)算企業(yè),75,,5. 云計(jì)算的機(jī)遇與挑戰(zhàn),76,近年來，云計(jì)算技術(shù)得到了快速發(fā)展。隨著它對(duì)人們?nèi)粘Ｉ畹挠绊懺絹碓缴钊?，云?jì)算最終使得計(jì)算和存儲(chǔ)成為一種公共資源，像水、電一樣滲透到人們生活的各個(gè)方面。與此同時(shí)，新的應(yīng)用需求不斷出現(xiàn)，比如實(shí)時(shí)搜索，在線推薦系統(tǒng)，社交網(wǎng)絡(luò)分析等應(yīng)用，將給云計(jì)算技術(shù)帶來新的挑戰(zhàn)。,5. 云計(jì)算的機(jī)遇與挑戰(zhàn),77,云計(jì)

47、算和移動(dòng)互聯(lián)網(wǎng)的結(jié)合云計(jì)算與科學(xué)計(jì)算的結(jié)合端到云的海量數(shù)據(jù)傳輸大規(guī)模應(yīng)用的部署與調(diào)試新型的應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)量的要求更大應(yīng)用的復(fù)雜度和實(shí)時(shí)性要求越來越高應(yīng)用對(duì)數(shù)據(jù)隨機(jī)訪問的速度越來越高,6. 云計(jì)算與分布式處理,78,集中式:采用工作站/終端通過網(wǎng)絡(luò)/電纜共享大型計(jì)算機(jī)的計(jì)算與存儲(chǔ)資源;分布式:在一個(gè)局域網(wǎng)中,每一臺(tái)機(jī)器既是一臺(tái)工作站,又是一臺(tái)服務(wù)器,沒有主—從之分,也就是人們常說的P2P模式。整個(gè)系統(tǒng)在用戶看來就是一臺(tái)存儲(chǔ)容

48、量大、計(jì)算能力強(qiáng)的虛擬機(jī)。云計(jì)算：在互聯(lián)網(wǎng)中，由多臺(tái)計(jì)算（應(yīng)用）服務(wù)器和數(shù)據(jù)庫（存儲(chǔ)）服務(wù)器組成的,6. 云計(jì)算與分布式處理,79,一臺(tái)存儲(chǔ)容量大、技術(shù)能力強(qiáng)的虛擬機(jī)，分布式存儲(chǔ)及分布式計(jì)算模型是云計(jì)算體系架構(gòu)中的核心。云計(jì)算技術(shù)與分布式處理技術(shù)的異同相同之處：兩者都提供了一臺(tái)存儲(chǔ)容量大、技術(shù)能力強(qiáng)的虛擬機(jī)。不同之處：分布式處理技術(shù)是P2P模式，在虛擬機(jī)上的用戶程序被分成多個(gè)模塊透明,6. 云計(jì)算與分布式處理,80,地分發(fā)到任意

49、多臺(tái)機(jī)器上，通過它們之間的交互和協(xié)作共同完成用戶的程序。用戶的文件/數(shù)據(jù)存方在任意多臺(tái)機(jī)器上的存儲(chǔ)器中，可供透明地進(jìn)行訪問和修改。所有機(jī)器上的負(fù)載基本保持平衡。 而云計(jì)算技術(shù)是用戶通過虛擬機(jī)調(diào)用存放在存儲(chǔ)器群中的程序，該程序被透明地分發(fā)到任意一臺(tái)計(jì)算服務(wù)器上執(zhí)行,以保持計(jì)算服務(wù)器群的負(fù)載基本平衡。用戶的文,6. 云計(jì)算與分布式處理,81,文件/程序/數(shù)據(jù)存放在任意多臺(tái)存儲(chǔ)器中，可供透明地訪問和修改。 總而言之，分布式