分布式存儲學習資料

1、VSAN 技術要點與最佳實踐,2016.03.13,黃釗,軟件定義的存儲：VSAN,2,,,VSAN的概述說明,,軟件定義的存儲,效益 控制力 敏捷性,VMware 軟件定義的存儲,3,為存儲帶來計算的運營模式,抽象化與池化基礎架構集成新的存儲層,以虛擬機為中心的數(shù)據(jù)服務第三方服務集成,基于通用策略的自動化和編排,,LUN,LUN,LUN,LUN,LU

2、N,LUN,x86 服務器,聚合了虛擬化管理程序的存儲池,對象存儲池,云對象存儲,無超額配置資源減少，時間也相應減少易于改變,,今天,5.從預分配的容器中取用4.選擇適當?shù)娜萜?.公開預分配的容器2.預分配靜態(tài)容器1.預定義存儲的配置,,1.定義存儲策略2.在虛擬機創(chuàng)建時應用策略,VSAN,VSAN 共享數(shù)據(jù)存儲,資源和數(shù)據(jù)服務自動進行調配和維護,超額配置（防患于未然?。├速M資源，浪費時間頻繁的數(shù)據(jù)遷移,Virtu

3、al SAN 讓應用做主,通過以應用為中心的方法實現(xiàn)更簡單的自動存儲管理,4,,VSAN 共享數(shù)據(jù)存儲,,可簡化并自動執(zhí)行存儲管理,5,從單個自調節(jié)的數(shù)據(jù)存儲滿足每虛擬機的存儲服務級別要求,容量,性能,可用性,按虛擬機設置的存儲策略,基于應用需求的策略集,vSphere + VSAN,,SLA,軟件自動控制服務級別,不再需要 LUN！,6,管理集群,,使用情形,軟件定義的存儲：VSAN,7,,,,軟件定義的存儲,效益

4、 控制力 敏捷性,硬件要求,8,基于 VMware 的任意服務器兼容性指南,,至少 3 臺 ESXi 5.5 主機，最多主機數(shù)“我將在稍后告訴您...”,網(wǎng)絡,支持 1 GB/10 GB帶確保服務質量的 NIOC 的 10 GB 共享網(wǎng)絡將支持大多數(shù)環(huán)境如果是 1 GB 網(wǎng)絡，則建議對 Virtual SAN 使用專用鏈路巨型幀將提供標稱的性能提升針對全新部署啟

5、用Virtual SAN 同時支持 VSS 和 VDSNIOC 需要使用 VDSNexus 1000v – 應該能用，但尚未進行全面測試網(wǎng)絡帶寬性能對主機撤出、重建時間的影響高于對工作負載性能的影響,9,VSAN HCL,http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan,CONFIDENTIAL,10,,,多級單元固態(tài)磁盤

6、或（最好是）PCIe 固態(tài)磁盤,SAS/NL-SAS 硬盤選擇 SATA 硬盤,,,vSphere 硬件兼容性列表上的 任何 服務器,* 注意：有關其他詳細信息，請參閱“Virtual SAN VMware 兼容性指南”頁面,,,6 GB 企業(yè)級 HBA/RAID 控制器,1,2,構建您自己的節(jié)點,VSAN 就緒的節(jié)點,...正式發(fā)布時將提供由多家第三方供應商組成的 10 種不同選項,,能夠使用 VSAN 的預配置服務器..

7、.,...使用 VSAN 兼容性指南*,選擇各個組件...,兩種構建 Virtual SAN 節(jié)點的方法,聚合了虛擬化管理程序的極其簡單的存儲,Virtual SAN 實施要求,Virtual SAN 需要：采用集群配置，至少 3 臺主機3 臺主機都必須提供存儲vSphere 5.5 U1 或更高版本本地連接的磁盤磁盤（硬盤）基于閃存的設備（固態(tài)磁盤）網(wǎng)絡連接1 GB 以太網(wǎng)10 GB 以太網(wǎng)（首選）,12,,es

8、xi-01,本地存儲,本地存儲,本地存儲,vSphere 5.5 U1 集群,esxi-02,esxi-03,,集群,HDD,HDD,HDD,Virtual SAN 構造和項目,全新的 Virtual SAN 構造、項目和術語：磁盤組VSAN 數(shù)據(jù)存儲對象組件Virtual SAN 網(wǎng)絡,13,Virtual SAN 磁盤組,Virtual SAN 使用磁盤組這一概念將閃存設備和磁盤池化為一個管理構造。磁盤組至少包含 1

9、個閃存設備和 1 個磁盤。閃存設備用于提供性能（讀緩存 + 寫緩沖區(qū)）。磁盤用于提供存儲容量。不能在沒有閃存設備的情況下創(chuàng)建磁盤組。,14,HDD,HDD,HDD,HDD,HDD,Virtual SAN 數(shù)據(jù)存儲,Virtual SAN 是一種以文件系統(tǒng)的形式呈現(xiàn)給 vSphere 的對象存儲解決方案。該對象存儲裝載著集群中所有主機的 VMFS 卷，并將它們呈現(xiàn)為一個共享數(shù)據(jù)存儲。僅限該集群的成員才能訪問 Virtual S

10、AN 數(shù)據(jù)存儲。并非所有主機都需要提供存儲，但是建議提供存儲。,15,,,,,磁盤組,磁盤組,磁盤組,磁盤組,每臺主機：最多 5 個磁盤組。每個磁盤組：1 個 SSD + 1 至 7 個 HDD,磁盤組,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,HDD,HDD,HDD,HDD,HDD,Virtual SAN 對象,Virtual SAN 通過名為對象的靈活數(shù)據(jù)容器的形式管理數(shù)據(jù)。虛擬機文件即稱為

11、對象。虛擬機文件稱為對象。存在四種不同類型的虛擬機對象：虛擬機主目錄虛擬機交換文件VMDK快照虛擬機對象基于虛擬機存儲配置文件中定義的性能和可用性要求劃分為多個組件。,16,,,,,磁盤組,磁盤組,磁盤組,磁盤組,每臺主機：最多 5 個磁盤組。每個磁盤組：1 個 SSD + 1 至 7 個 HDD,磁盤組,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,HDD,HDD,HDD,HDD,H

12、DD,對象和組件布局,,17,,,,,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,,,,Virtual SAN 存儲對象,R1,R0,R0,R0,,,,,,,可用性定義為副本數(shù)量,低級存儲對象將駐留在不同的主機上,,VMFS,,VMFS,,VMFS,rolo2.vmdk,虛擬機主目錄對象格式化為 VMFS，以便在此對象上存儲虛擬機的配置文件。,性能可能會包括條帶寬度,,VMFS,,rolo1.vmd

13、k,rolo.vmx、.log 等,/vmfs/volumes/vsanDatastore/rolo/rolo.vmdk,,Virtual SAN 組件,Virtual SAN 組件是對象區(qū)塊，這些對象區(qū)塊跨集群中的多臺主機分布，以便容許同時發(fā)生多個故障并滿足性能要求。Virtual SAN 利用分布式 RAID 體系結構將數(shù)據(jù)分發(fā)到整個集群中。組件的分布主要采用兩種技術：條帶化 (RAID0)鏡像 (RAID1)創(chuàng)建多少

14、組件副本將基于對象策略定義決定。,18,,,,,磁盤組,磁盤組,磁盤組,磁盤組,磁盤組,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 數(shù)據(jù)存儲,副本 1,副本 2,RAID1,HDD,HDD,HDD,HDD,HDD,,,,,,,,,Virtual SAN 可擴展體系結構,19,縱向擴展和橫向擴展體系結構 – 精確的線性存儲、性能和計算擴展能力按磁盤 – 擴展容量按基于閃存的設備 – 擴展

15、性能按磁盤組 – 擴展性能和容量按節(jié)點 – 擴展計算容量,,,,,磁盤組,磁盤組,磁盤組,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 網(wǎng)絡,VSAN 數(shù)據(jù)存儲,HDD,HDD,HDD,軟件定義的存儲：VSAN,20,,,VSAN的安裝配置,,軟件定義的存儲,效益 控制力 敏捷性,配置 VMware Virtual SAN,極其簡單的配置過程,21,技術特征

16、,Virtual SAN 是集群級別的功能，類似于：vSphere DRSvSphere HAVirtual SAN通過 vSphere Web Client 從 vCenter 中進行部署、配置和管理（絕無僅有！）。極其簡單為 Virtual SAN 配置 VMkernel 接口通過單擊“Turn On”（打開）啟用 Virtual SAN,22,,啟用 Virtual SAN,一鍵搞定！

17、Virtual SAN 配置為“Automatic”（自動）模式時，Virtual SAN 會申領所有空的本地磁盤以便創(chuàng)建分布式 VSAN 數(shù)據(jù)存儲。Virtual SAN 配置為“Manual”（手動）模式時，管理員必須通過手動選擇磁盤創(chuàng)建磁盤組來添加分布式 VSAN 數(shù)據(jù)存儲。,23,磁盤管理,集群中的每個主機創(chuàng)建一個或多個磁盤組，其中同時包含硬盤和固態(tài)磁盤。,24,容許的故障數(shù)量,容許的故障數(shù)量定義存儲對象能容許的主機、磁盤

18、或網(wǎng)絡故障的數(shù)量。若要容許“n”個故障，則要創(chuàng)建“n+1”個對象副本，并且需要“2n+1”臺主機提供存儲。,25,每個對象的磁盤條帶數(shù),每個對象的磁盤條帶數(shù)存儲對象的每個副本所跨的硬盤數(shù)。值越高，性能就越好。,26,Virtual SAN I/O 流 – 寫入確認,,VSAN 網(wǎng)絡,vmdk,vmdk,esxi-01,esxi-02,esxi-03,esxi-04,VSAN 會將寫入 IO 鏡像到所有的活動鏡像，并在這些寫入命中閃存

19、緩沖區(qū)時確認寫入操作！,見證,降級為硬盤的操作在各主機中獨立執(zhí)行。,raid-1,Virtual SAN I/O 流 – 1 MB 增量的條帶化,,VSAN 網(wǎng)絡,見證,esxi-01,esxi-02,esxi-03,esxi-04,條帶 1b,條帶 1a,1 MB(1),raid-0,raid-0,VSAN 默認實施精簡配置，條帶以 1MB 的增量增長,raid-1,1 MB(3),1 MB(5),1 MB(2),1 MB(4),(

20、x) 表明條帶所在的段。,針對存儲功能的建議做法,29,虛擬機調配操作,所有虛擬機調配操作都需訪問虛擬機存儲策略,30,虛擬機調配操作,如果 Virtual SAN 數(shù)據(jù)存儲了解虛擬機存儲策略中的功能，則會將其顯示為匹配的資源。,31,虛擬機調配操作,如果 VSAN 數(shù)據(jù)存儲能夠滿足虛擬機存儲策略要求，則“VM Summary”（虛擬機摘要）選項卡會將虛擬機顯示為合規(guī)。,如果由于故障或強制調配功能而不能滿足策略要求，則會顯示為不

21、合規(guī)。,32,,,虛擬機策略管理,修改虛擬機性能、容量和可用性要求而不停機。,33,VMware Virtual SAN,恢復能力和故障場景,了解故障事件,Virtual SAN 可識別兩種不同類型的硬件設備事件以便定義故障場景的類型：缺失降級缺失事件會觸發(fā) 60 分鐘的恢復操作。Virtual SAN 會在開始恢復對象和組件之前等待 60 分鐘60 分鐘是所有缺失事件的默認設置此值可通過主機高級設置來配置,35,了解故

22、障事件,降級事件會立即觸發(fā)恢復操作。立即觸發(fā)對象和組件的恢復操作不可配置如檢測到的以下任何 I/O 錯誤始終會被視為降級：磁盤故障基于閃存的設備故障存儲控制器故障如檢測到的以下任何 I/O 錯誤始終會被視為缺失：網(wǎng)絡故障網(wǎng)卡 (NIC)主機故障,36,故障處理原理,傳統(tǒng) SAN需要更換故障物理驅動器才能恢復完全冗余預設有熱備盤以便立即接管故障磁盤的工作上述這兩種情況：均按 1:1 的比例更換磁盤Virt

23、ual SAN整個集群就是一個“熱備盤”，隨時都可恢復完全冗余當某個磁盤發(fā)生故障時，許多小組件（對象的條帶或鏡像）就會發(fā)生故障這些組件的新副本可分布在集群各處以實現(xiàn)平衡更換物理磁盤只是增添了后備資源,管理故障場景,通過制定策略，Virtual SAN 上的虛擬機可以容許多種故障磁盤故障 – 降級事件固態(tài)磁盤故障 – 降級事件控制器故障 – 降級事件網(wǎng)絡故障 – 缺失事件服務器故障 – 缺失事件虛擬機可繼續(xù)運行 并行

24、重建可最大限度減少性能影響固態(tài)磁盤故障 – 立即硬盤故障 – 立即控制器故障 – 立即網(wǎng)絡故障 – 60 分鐘主機故障 – 60 分鐘,38,磁盤故障 – 即時鏡像副本,降級 – 故障磁盤上所有受影響的組件都將立即在其他磁盤、磁盤組或主機上創(chuàng)建。,主機故障 – 60 分鐘延遲,缺失 – 在其他磁盤、磁盤組或主機上啟動對象和組件的副本之前，將按默認設置等待 60 分鐘。對集群總體計算和存儲容量的影響較大。,X,網(wǎng)絡故障 –

25、 60 分鐘延遲,缺失 – 在其他磁盤、磁盤組或主機上啟動對象和組件的副本之前，將按默認設置等待 60 分鐘。網(wǎng)卡故障、物理網(wǎng)絡故障可能導致網(wǎng)絡分區(qū)?？赡軙绊懠褐械亩嗯_主機。,X,Virtual SAN 訪問規(guī)則,組件訪問規(guī)則至少有一個鏡像備份是完整的所有條帶化必須都是完整的大于50%的組件必須是可用的包含witnesses,,1 Mirror Copy,,All stripes available,,> 50%

26、components and witnesses,,Power on Operation,Logic is implemented per object,Virtual SAN 1 臺主機被隔離 – HA 重啟,,VSAN 網(wǎng)絡,vmdk,vmdk,見證,esxi-01,esxi-02,esxi-03,esxi-04,隔離！,HA 重啟,raid-1,vSphere HA 重啟虛擬機,Virtual SAN 2 臺主機被隔離 – HA

27、重啟,,VSAN 網(wǎng)絡,vmdk,vmdk,見證,esxi-01,esxi-02,esxi-03,esxi-04,隔離！,隔離！,HA 重啟,raid-1,vSphere HA 在 ESXi-02/ESXi-03 上重啟虛擬機，這些主機擁有超過 50% 的組件！,Virtual SAN 分區(qū) – 含 HA 重啟,,VSAN 網(wǎng)絡,vmdk,vmdk,見證,esxi-01,esxi-02,esxi-03,esxi-04,分區(qū) 1,分區(qū) 2

28、,HA 重啟,vSphere HA 在分區(qū) 2 上重啟虛擬機，該分區(qū)擁有超過 50% 的組件！,raid-1,技術互操作性,Virtual SAN 與許多 VMware 存儲和 vSphere 可用性企業(yè)級功能全面集成。,46,軟件定義的存儲：VSAN,47,,,,軟件定義的存儲,效益 控制力 敏捷性,Virtual SAN Datastore,分布式的d

29、atastore容量取決于 在vSphere Cluster中多臺主機上集合的可用磁盤組以及磁盤大小. 只有磁盤上的有效容量可以作為Virtual SAN datastore的使用容量. Flash設備容量專門作為Virtual SAN的cache容量.,,,,,,disk group,disk group,disk group,disk group,Each host: 5 disk groups max. Each disk g

30、roup: 1 SSD + 1 to 7 HDDs,disk group,VSAN network,VSAN network,VSAN network,VSAN network,VSAN network,HDD,HDD,HDD,HDD,HDD,磁盤組（Disk Groups）,由一個Flash設備(SAS/SATA/PCIe SSD)和一個或多個磁盤(SAS/SATA HDD)組成. Disk Groups 構成了分布式的flash層

31、和VSAN Datastore的存儲容量層. Formatted with a modified on-disk file system (VMFS-L) and are then mounted onto the Object Store File System datastore as a single datastore VMFS-L on-disk file system formatting consumes a tota

32、l of 750 megabytes of capacity per disk.,Disk Group 規(guī)劃設計,每個Disk Group一個Flash 設備多個flash設備, 多個disk groups 可以用來建立多個flash層Flash設備和磁盤比率越高，cache就越大. 定義和減少存儲故障范圍.,Flash 容量規(guī)劃與設計,一般推薦：在考慮Number of Failures To Tolerate之后，Virtua

33、l SAN‘s flash容量為預期消耗存儲容量的10%. 總的Flash容量百分比應該根據(jù)具體的使用場景及相應的容量和性能要求而定. 10% 是一般推薦, 可以調整.,目標（Objects）,獨立的SCSI兼容的存儲塊設備.每一個Virtual SAN datastore中的目標石油多個組件（component）構成.目標（Object）通過VM Storage Profiles 均被設定了存儲性能和可用性相關的服

34、務指標.,,組件（Components）,目標（Objects）由分布在一個vSphere Cluster中的主機上的組件 （components ）構成. Virtual SAN 5.5 當前支持最大每臺主機3000 components. 大于255 gigabytes的目標 （object）會自動地分成多個組件（components）.每個組件（component）會為Metedate消耗2 megabytes 磁盤空間.,

35、,見證（Witness）,見證組件（Witness components）是每個存儲目標的一部分. 只包含object metadata. 作為一個附加屬性存在：為避免分割，在一個Virtual SAN cluster內(nèi)設定好可用性測略后. 每個Virtual SAN witness component同樣會消耗 2 megabytes 存儲容量.,Virtual SAN Datastore大小考慮因素,很重要的一點：了解存儲容量

36、的消耗對可用性和性能方面的影響. Number of Failures to TolerateNumber of Disk Stripes per ObjectFlash Read Cache ReservationObject Space Reservation,,,,允許的故障次數(shù)（Number of Failures to Tolerate）,在Virtual SAN中，存儲容量消耗的最大影響. 根據(jù)虛擬機的可用性要求,

37、 VM Storage Policy的相關設定會導致最高4倍虛擬機存儲容量的消耗,2 full copies of data + 1 witness,沒給目標磁盤條帶化數(shù)量（Number of Disk Stripes Per Object）,如果每個Object的磁盤條帶化數(shù)量按默認的“1”進行增長，每個條帶會被當作一個獨立的組件（component）.這是每臺主機支持的最大數(shù)量的組件情況的影響數(shù)據(jù).,內(nèi)存和CPU,Virtual

38、SAN的內(nèi)存要求一般取決于有Hypervisor管理的磁盤組和磁盤數(shù)量. 只要vSphere hosts內(nèi)存大于, 就可以支持VirtualSAN所能支持的最大磁盤組和磁盤配置.Virtual SAN 本身設計為不會消耗每臺主機CPU資源的10%的負載. 因此，可以在高整合比，及CPU密集型應用的場景使用Virtual SAN.,網(wǎng)絡,Virtual SAN 網(wǎng)絡活動，尤其是在進行重構或同步操作時可能會對1GbE 的網(wǎng)絡形成極大

39、的壓力. 在有網(wǎng)絡資源緊張的場景下，通過不同的VLAN，隔離不同的網(wǎng)絡流量 (Management, vMotion, Virtual Machine, Virtual SAN) ，或者采用QoS服務保證性能. Virtual SAN需要在2層支持 IP多播（multicast）一時鮮Virtual SAN 通信,VSAN測試最佳實踐,CONFIDENTIAL,60,IOMeter測試,61,最新版本下載： http://so

40、urceforge.net/projects/iometer/Iometer.org 已過時。注意測試壓力測試文件并發(fā)壓力壓力IO數(shù),測試文件,二個關鍵參數(shù) (Maximum Disk Size and Starting disk sector) 決定測試文件大小 (iobw.tst)。e.g: If both “Starting disk sector” and “Maximum Disk Size” are 10000

41、00, as each disk sector has 512B (0.5KB) capacity, a (1000000*2*0.5 KB) 1GB test file is generated. 大文件的100%隨機訪問需要更多的訪問時間。Experiment ( block size: 4Kb, run time 20 minutes, file size: 1GB / 10GB / 50GB),62,并發(fā)壓力,In IOMe

42、ter : thread = worker增加Worker數(shù)量增加大壓力每個VM上多Worker數(shù)多 VMExperiment ( block size: 4Kb, run time 20 minutes, 50% Read, 50% Random),63,壓力IO,每個Worker 的異步IO數(shù)。默認為1值太小，可根據(jù)硬件性能進行調整注意調整值，太高會使Windows掛起或死機。,64,VSphere/VSAN 配置推薦

43、,65,PVSCSI 控制器,默認的LSI logic SAS性能不如PVSCSI。更好的傳輸性與更低的CPU利用率。LSI logic SAS 在大負載的情況性能下降。PVSCSI 有更好的表現(xiàn)。,66,Component 分布,盡可能認負載分布在多個SSD/HDD上。影響因素: FTT (容錯數(shù)) / Stripe Width條帶化 / Disk capacity 磁盤容量在不同的磁盤組上虛擬磁盤上增加負載可獲得更好的性能,

44、67,Storage Policy (Stripe width),VSAN的存儲策略 (default 1, max 12)?？筛淖兘M件的分布。對SSD 到HDD的寫入性能有顯著提高。Experiment ( a 4-node cluster, 4 disk groups) :,68,網(wǎng)絡帶寬,VSAN中, 小于256GB的虛擬磁盤有二個拷貝和1個見證。1個拷貝在主機1 ( Host 1). 另1 個拷貝在主機 ( Host

45、 2). 主機上Host 3 上是見證。網(wǎng)絡數(shù)據(jù)流:Read : IOPS * block size / 2 ≈ bandwidth.Write : IOPS * block size ≈ bandwidth.,69,,,Read : Remote -> LocalWrite : Local -> Remote,軟件定義的存儲：VSAN,70,,,,軟件定義的存儲,效益

46、 控制力 敏捷性,,VSAN6.2的新功能介紹,IT 基礎架構邁向Server SAN和超融合架構,71,Source: IDC Hyperconverged Systems 2015-2019 Forecast,1 Wikibon Server SAN Research Project 2014,,Enterprise Server SAN CAGR1: 44.2%,60%

47、CAGR,,,,,最廣泛的部署選項,72,基于業(yè)界領先的 VMware 超融合軟件 (HCS) 而構建,經(jīng)認證的解決方案,精心打造的設備,,Virtual SAN 就緒節(jié)點,EVO SDDC 集成系統(tǒng),經(jīng)認證的合作伙伴硬件,NSX,vRealize,EMC 聯(lián)盟 HCI 設備,VMware HCSVirtual SAN + vSphere + vCenter,VMware HCSVirtual SAN + vSphere + vC

48、enter,VMware HCSVirtual SAN + vSphere + vCenter,EVO SDDC Manager,EVO SDDC 軟件,已更新,僅部分地區(qū)供應,設備軟件,即將推出,更多客戶愿意借助 VMware HCS而不是競爭產(chǎn)品來部署 HCI,,3000+,超過3000多客戶選擇VMware HCS,,,,,,,,,,,,,74,極簡的數(shù)據(jù)中心基礎架構,極其簡單,,,>100,經(jīng)過預先認證的就緒節(jié)點,

49、1 個,集成軟件體系,,<1ms,全閃存系統(tǒng)延遲,>100K,每個節(jié)點的 IOPS,,14 倍,Virtual SAN 總存儲使用率提高,50%,TCO 更低,,1 個,適合關鍵業(yè)務應用、Openstack 和容器的平臺,>7M,每個集群的 IOPS,最高的性能,,最低的成本,任何應用、任何規(guī)模,,為何這些選擇 VMware HCS – VSAN ？,14倍,,,,《ZDNet-至頂網(wǎng)》VMware Virtua

50、l SAN 6.1評獲2015年存儲虛擬化解決方案VMware Virtual SAN 6.1 Wins "Best Shared Storage Solution in 2015" Award,《中國信息發(fā)展研究院》VMware Virtual SAN 6.1榮膺中國軟件和信息服務虛擬化領域最佳產(chǎn)品獎VMware Virtual SAN 6.1 Awarded "China’s Best Vi

51、rtualization Product",《中小企業(yè)IT采購》雜志VMware Virtual SAN 榮膺2015最受中小企業(yè)信賴的品牌和產(chǎn)品VMware Virtual SAN Wins "The Most Trusted Brand by SMEs in 2015" Award,2015年VSAN在中國榮獲多項大獎,VMware VSAN簡介,76,77,. . .,,軟件定義的存儲針對虛擬機進

52、行了優(yōu)化超融合體系架構（分布式，橫向和縱向擴展）可在任何標準x86服務器上運行將HDD/SSD池化為共享數(shù)據(jù)存儲提供企業(yè)級的高可用性、可擴展性和性能基于策略的自動化，滿足SLA，可按虛機甚至vmdk級別的顆粒度設置存儲策略與VMware產(chǎn)品體系深度集成,Overview,Virtual SAN Datastore,vSphere + Virtual SAN,,,,,,,,,,. . .,VMware VSAN,專為虛擬化環(huán)境

53、設計的超融合軟件（HCS）,,VMware VSAN 可隨時用于所有 vSphere 工作負載,VMware vSphere + Virtual SAN,,ROBO,,生產(chǎn)前調試,,管理,,DMZ,,,,,,,適用于虛擬機的最佳存儲,,針對 vSphere 優(yōu)化,,企業(yè)級恢復能力,,關鍵業(yè)務應用就緒,VSAN 6.2 九大特性,79,VSAN 6.2的九大特性,80,第 4 代 Virtual SAN 具有重要的新功能特性,特性一和特性

54、二：去重和壓縮（提高空間效率）,僅支持全閃存按照磁盤組的級別，實現(xiàn)近線的去重和壓縮 提高空間效率磁盤組越大，去重比率越高去重和壓縮在集群級別激活當數(shù)據(jù)從緩存層De-staging（刷新）到持久化層時實現(xiàn)去重，在去重后實現(xiàn)壓縮去重在緩存寫確認后執(zhí)行固定大小的塊去重 (4KB 數(shù)據(jù)塊)在VSAN Stretched Cluster和ROBO方式下也支持去重和壓縮,81,Beta,,esxi-01,esxi-02,esxi-0

55、3,vmdk,vmdk,,,,vSphere & Virtual SAN,vmdk,,,,,,,,,All Flash Only,去重（ Deduplication )原理， 壓縮(Compression)注意問題,82,壓縮(Compression) 4KB is the block size for deduplication. For each unique 4k block compression would be

56、 performed and if the output block size is less than or equal to 2KB, a compressed block would be saved in place of the 4K block. If the output block size is greater than 2KB, the block would be written uncompressed and

57、tracked as such. The reason is to avoid block alignment issues, as well as reduce the CPU hit for decompressing the data which is greater than compression for data with low compression ratios. All of this data reduction

58、 is after the write acknowledgement. 15% at most less than 5% greater resource usage.,去重（ Deduplication ),特性三 糾刪碼： RAID-5 Erasure Coding,“FTT=1” 高可用性 ? RAID-53+1 (最少4臺主機，并非4的倍數(shù)，而是4臺或更多即可)1.33倍的開銷，以往的開銷是兩倍以往20GB數(shù)據(jù)消耗40G

59、B空間, 現(xiàn)在約為27GB可以實現(xiàn)在vmdk的顆粒度上，在VMware SPBM（基于存儲策略的管理）里設置不支持VSAN Stretched Cluster,83,RAID-5,,All Flash Only,特性三 糾刪碼： RAID-6 Erasure Coding,“FTT=2” 的高可用性 ? RAID-64+2 (最少6臺主機)1.5倍的開銷，以往的開銷是3倍以往20GB數(shù)據(jù)消耗60GB空間, 現(xiàn)在約為30GB可

60、以實現(xiàn)在vmdk的顆粒度上，在SPBM里設置不支持VSAN Stretched Cluster,84,,All Flash Only,RAID-6,Erasure Coding (糾刪碼),85,K 是數(shù)據(jù)， M是糾碼。 K+M= 節(jié)點（磁盤數(shù)）,,Raid6,86,D+P+Q,87,特性三： VMware 存儲策略 里可按vmdk設置Erasure Coding,空間效率,88,顯著提高空間效率: 14倍！,89,,50%,與混合競

61、爭產(chǎn)品相比，全閃存每 GB 成本減少,2 倍,14 倍,,14 倍,存儲效率，無折中,* 通過重復數(shù)據(jù)消除和壓縮而實現(xiàn)的改進會因工作負載不同而異。 VDI 完整克隆測試的結果。,,特性四：IOPS限制（QoS）,90,New in 6.2,基于每個虛機或每個vmdk，能以可視化的圖形界面來設置IOPS的限制值一鍵即可設置消除noisy neighbor（相鄰干擾）的不利影響可以在vmdk的顆粒度上滿足性能的服務等級協(xié)議（SLA）

62、，在SPBM里設置在一個集群/存儲池，可以為不同虛機/vmdk，提供不同的性能，將原本可能相互影響的負載區(qū)分開來用戶在圖形界面中，可以看到每個vmdk的IOPS值，并通過顏色(綠色,黃色,紅色)判斷實際IOPS與IOPS限制值的關系計算IOPS時，包括vmdk及其快照的讀寫操作,,,,,,,,…,vSphere + Virtual SAN,vSphere & Virtual SAN,91,特性四： VMware 存儲策略

63、里可按vmdk設置IOPS Limit,注意：默認IO塊大小是32K, 所以當設置為500IOPS時，實際對說64K塊來說，只有250 IOPS,性能服務-提供圖形方式觀察,92,特性五： 支持純IPv6網(wǎng)絡,概覽在僅有IPv6的模式下運行。所有網(wǎng)絡通信都通過IPv6網(wǎng)絡通過圖形界面設置VSAN支持L2或L3組播通過HealthUI進行管理/監(jiān)控支持IPv4 & IPv6 混合模式的升級好處滿足那些想遷往IPv6的

64、客戶需求 (例如，政府, 服務提供商)配合vSphere支持IPv6,VSAN network,VSAN network,VSAN network,支持純IPv4網(wǎng)絡或IPv6網(wǎng)絡,New in 6.2,,,,vSphere & Virtual SAN,,Virtual SAN Datastore,New in 6.2,特性六： Software Checksum（軟件校驗和）,94,概覽數(shù)據(jù)的端到端校驗，檢測并解決靜默磁盤

65、錯誤軟件校驗和在集群級別默認是開啟的，可以通過存儲策略在vmdk級別關閉在后臺執(zhí)行磁盤掃描（Disk Scrubbing）如果通過校驗和驗證發(fā)現(xiàn)了錯誤，則重建數(shù)據(jù)基于4K的塊大小采用CRC32算法（CPU開銷小）好處提供更高的數(shù)據(jù)完整性自動檢測和解決靜默磁盤錯誤（silent disk errors）,Virtual SAN,,95,特性六： VMware 存儲策略 里可按vmdk設置Software Checksum,

66、特性七：詳細的性能監(jiān)控集成到vSphere Web Client里,性能監(jiān)控,容量監(jiān)控,96,New in 6.2,性能無縫集成在vSphere Web Client里，提供歷史和實時的圖表，并且可設置時間范圍過濾的圖表。性能監(jiān)控允許從vCenter監(jiān)控現(xiàn)有的工作負載，包括宏觀視圖：集群延時、帶寬和IOPS）；以及細顆粒度的視圖：每個磁盤，每個磁盤組，每個物理盤（包括緩存層和持久化層），每個虛機，每個vmdk；以及緩存命中率。性能監(jiān)控

67、的數(shù)據(jù)，以分布式方式存放在VSAN上。,VSAN Performance Monitoring - Cluster wide Performance (IOPS, latency, Throughput),,VSAN Performance monitoring: Individual VSAN Host,,VSAN Performance Monitoring: Individual Disk,,Q1 2016 Roadmap,VSA

68、N Performance Monitoring: Individual Disk Group,,VSAN Performance Monitoring: Individual Virtual Machine,,Q1 2016 Roadmap,VSAN Performance Monitoring: Individual Virtual Disk,,特性八：健康檢查（Health Check）集成到vSphere Web Client內(nèi)