Click to add text 2010 IBM Corporation化繁为简化繁为简IBM云存储整体解决方案云存储整体解决方案 2010 IBM Corporation2系统系统C典型的信息系统基础设施现状典型的信息系统基础设施现状“竖井竖井”模式模式系统间：各应用系统建立在自身独立的资源支撑体系上，相互间很少实现资源共享；系统内：各应用系统内部在开发、测试、运行和归档资源仍在为相对独立的计算资源支撑，整体资源流动性和利用率低，很少实现共享。系统系统A系统系统B运行运行开发开发运行运行备份备份归档归档运行运行测试测试信息系统基础设施的主体建设模式仍然主要停留在“竖井竖井”模式。 2010 IBM Corporation3虚拟化技术虚拟化技术变革变革变革变革传统应用系统的建设模式是“竖井式竖井式”建设，处理资源利用率低，无法实现共享，一个故障的处理往往需要多个不同专业领域的人员协同工作，效率容易成为瓶颈。未来计算中心的建设模式是“资源池式资源池式”建设，通过虚拟化技术的应用打破了传统竖井式的资源壁垒，若干应用系统共享各类处理资源，支持随业务应用压力变化灵活调整资源供应；集中式运维管理通过对运维流程的固化、不同专业领域的人员整合等方法的应用大大提高了运维效率基于虚拟化技术的系统建设模式变革基于虚拟化技术的系统建设模式变革 2010 IBM Corporation用用户 / 服服务使用者使用者政府、学院政府、学院行行业用用户个人消个人消费者者 高性能、高高性能、高弹性性 的虚虚拟资源池源池简化的服化的服务窗口（窗口（业务应用）用）SaaSPaaSIaaS快速提供灵活的服务，经济有效（按量按量计费的商的商业模型模型）。简化的服化的服务窗口窗口云计算基础架构云网络基础架构私有云私有云 混合云混合云 公有云公有云云模型云模型 2010 IBM CorporationIBM云存云存储专精于精于电信存信存储优化化: 跨入云端三部曲跨入云端三部曲架构优化架构优化小变大；多变少灵活数据迁移重用和共享更容易整合性能优化性能优化动态的性能响应应用便捷部署更高的利用率更强扩展性管理优化管理优化统一的管理界面简化维护成本优化的安全更容易整合Business DrivenBSSOSSMSSVASIDCICTBusiness SupportSVCBlock系统自恢复系统自恢复系统强扩展系统强扩展系统零管理系统零管理 系统自服务系统自服务XIV全方位支持不同的应用要求新一代、智能的存储访问架构面向VAS和ICT转型的存储架构全面、优秀的虚拟化技术优化TCO卓越的性能卓越的性能优化的架构优化的架构简约的设计简约的设计 更低的能耗更低的能耗DS8K强化异构管理强化异构管理透明数据迁移透明数据迁移强大容灾功能强大容灾功能 系统便捷服务系统便捷服务V7K超大的容量超大的容量高存储速度高存储速度自分层存储自分层存储 全局虚文件全局虚文件SoNASTier0Tier1File12345Easy Tier (自动分层)热点和整卷的迁移通过自动的数据迁移减少管理的复杂性“正确”地构建数据中心的云存储架构智能地适应应用的工作负载;无需设置策略统一的异构管理，有效提高访问性能SSDHDDSATA 2010 IBM Corporation什么是存储虚拟化？什么是存储虚拟化？在物理存储系统和服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。服务器不直接与存储硬件打交道，存储硬件的增减、调换、分拆、合并对服务器层完全透明。 隐藏了复杂程度 允许将现有的功能集成使用 摆脱了物理容量的局限虚拟化逻辑表现物理设备 2010 IBM Corporation我们面临的技术问题我们面临的技术问题 . . .厂商C厂商B厂商A驱动A驱动A驱动B驱动B驱动C远程程镜像像 ?能否跨存能否跨存储服服务器器实施施拷拷贝服服务?需要有几套存需要有几套存储管理界管理界面面?没空间了没空没空间了了没空没空间了了空余空间010101010101010101010010101101001000数据迁移SAN管理控制台管理控制台A管理控制台管理控制台 C管理控制台管理控制台 B快照快照?磁磁盘的利用率高的利用率高吗?数据迁移造成的停机数据迁移造成的停机时间是否很多是否很多? 2010 IBM CorporationIBM SVC的发展历史的发展历史V1.1V1.1V1.2.0/1V1.2.0/1V2.1/3.1V2.1/3.1 2005Host Clustering supportSolaris, HP-UX & SUN,W2K3-MPIO,Netware 6.5 ,W2K3-MPIO, VSS,GDS SLES 9,Image Mode Data MigrationSW only master consoleNew HW base x336, UPS 20048-node clusters#vdisks scalability Improved Host interop & Storage Interop 2003First Release Virtualization Copy Services: FlashCopy, Metro MirrorInteroperabilityV4.1V4.1 2006Copy Services Enhancemts Global MirrorHW RoHS,4Gb HBAsHosts: Win 64b, Solaris 10, RHEL 4, NetApp vFilerStorage: Tagmastore, NetAppFASHost InteroperabilityStorage InteroperabilityV5.1V5.12008Copy Services Enh: Space Effnt FC Cascading CopyVirtual Disk MirriorSVC Entry EditionV4.V4.2 2V4.V4.3.13.1 2007Copy Services Enh: Multiple FC Targets Incremental FC Incrs #relationshpsVolume Mgmt: vdisk mirroring MDG rebalnc/restrpScalability: 4K vdisks 2009SSDNative iSCSIMulti Cluster Mirroring 64-bit SoftwareV6.1V6.12010EasyTierWEB 2.0 Browser-based GUI 1 PB MDisk size8 GB Extents256 WWNN supportINTEROPERABILITY 2010 IBM CorporationSANVolume ControllerSVC 6.1 广泛的兼容性广泛的兼容性Native iSCSIHPMA, EMAMSA 2000, XPEVA 6400, 8400HitachiLightningThunderTagmaStoreAMS 2100,2300,2500, WMS,USPEMCCLARiiONCX4SymmetrixDMXVMAXMicrosoftWindows 2008Hyper-V MSCSMPIO, VSS, GDSIBM AIXHACMP /XDGPFS / VIOIBM i 6.1SunSolarisVCS/SUN clusteringHP-UX 11i V3Tru64OpenVMSServiceGuard with SDDIBMBladeCenterWin/Linux/VMWare/AIXOPM/FCS/IBSCitrix/ZenSANSANVolume ControllerContinuous CopyMetro/Global MirrorMultiple Cluster MirrorVMwarevSphere4Point-in-time Copy,Thin Provisioning VolumeNovellNetWareClusteringSunStorageTekIBMDSDS4000DS5000DS3950DS8000IBMESS,FAStTIBMz/VSEz/VM 6.1iSCSI to hostsVia Cisco IPSIBMN seriesXIVDCS9950DCS9990NetAppFASSGI IRIXIBM N series GatewayNetApp V-SeriesIBM TS7650GCompellentFujitsuEternusNECiStorageNewVirtual Disk MirroringAppleMac OSPillarAxiom300, 5008Gbps SANSSDLinux(Intel/Power/zLinux)RHELSUSE 11支持支持1024台主机台主机8000 Models 2000 & 12004000 models 600 & 400DX410, DX440, DX8100, DX8300, DX9700 2010 IBM CorporationSVC的的高性能和高可靠性高性能和高可靠性最新最新SPC测试结果显示测试结果显示SVC性能领跑所有存储性能领跑所有存储4节点的节点的SVC SPC-1值达值达300,000*相对应的相对应的HP XP24000最高性能值为最高性能值为200,000左右左右http:/www.storageperformance.org/results/benchmark_results_spc1/#spc1SVC最大在一个群集中支持8个节点SVC最大支持192GB CacheSVC磁盘条带化可跨越多个物理存储SVC的SPC-1，SPC-2实测性能超越业界几乎所有的高端存储。大量客户的实际案例证明，一套规划合理的SVC，可以提升原有存储的I/O性能。根据在2008年和2009年所有已安装SVC的用户统计数字，SVC的可靠性高达5个9（99.999%)。 2010 IBM Corporation11统一存储：新统一存储：新+旧旧整合新旧存储，统一管理整合新旧存储，统一管理高效率的存储配置、管理高效率的存储配置、管理应用高可用应用高可用模块化设计，按需扩展，满足容量、性能增长模块化设计，按需扩展，满足容量、性能增长业务持续性业务持续性新存储新存储旧存储旧存储旧存储旧存储旧存储旧存储旧存储旧存储兼容系统查询 ibm.com/storage/svc and click on “Interoperability”. IBMESS, FAStTDS3/4/5/6/8XIVSunStorageTekHPMA, EMAMSA, EVAXPBullStoreWayPillarAxiomNECiStorageFujitsuEternusEMCCLARiiON,SymmetrixHitachiUSPLightning, ThunderTagmaStoreNetAppFAS网络网络新磁盘存储架构新磁盘存储架构磁盘虚拟化磁盘虚拟化存储整合，构建统一存储池存储整合，构建统一存储池 2010 IBM CorporationSVC的扩展性的扩展性动态扩展性能展性能For performance sensitive applications, dynamically add more performance to yourexisting capacity by adding controller pairsor mix with additional capacity动态扩展容量展容量For high capacity applications such as archive, dynamically add capacity by adding disk enclosuresor mix with additional performance动态扩展功能展功能Many features are includedSoftware is preinstalled in the systemand management console for easy setupPremium features are already installed. Enabled with only a license fileMetro MirrorGlobal MirrorFlashCopyThin ProvisioningPerformance optimizationSAN VirtualizationPerformance managementPractice DR recoveryAutomated failover / fail-backVdisk MirrorEasy Tier 2010 IBM Corporation14磁盘虚拟化磁盘虚拟化存储存储HA或最低风险的数据迁移方案或最低风险的数据迁移方案VDisk镜像功能镜像功能IBM SVC VDisk Mirror功能使RPO=0,RTO=0成为可能提供灵活的同构或异构存储系统HA，数据在两个磁盘系统之间镜像，每个Extent有两份拷贝一个磁盘系统损坏或离线维护时应用仍能继续提供最低风险的数据迁移方案，可以为已有的VDisk加入一份拷贝，也可以分离一份拷贝Recovery Point Objective (RPO) RPO是反映恢复数据完整性的指标， 即新恢复业务系统的数据损失量。Recovery Time Objective (RTO)RTO是反映业务恢复及时性的指标，表示业务从中断到恢复正常所需的时间。AppAppIBMEMCHDSHPSVCVirtual disks写 IOMirror1Mirror2App 2010 IBM Corporation15磁盘虚拟化磁盘虚拟化分级存储池分级存储池在异构环境中创建统一的磁盘池所有磁盘系统可以按性能最优的方法做统一，规整的划分不同磁盘介质构建分级存储池不同磁盘介质构建分级存储池动态动态Cache分区分区（MDG为单位）方便扩容后的设置方便存储设备的移入，移出充分利用磁盘空间，节能减排层次化存储，节能减排在上层做统一的监管，报告统一的管理界面减小管理成本，例如不需要频繁的改bin file 2010 IBM CorporationSVC 在线数据迁移（在线数据迁移（Data Migration)SVC数据迁移的常用场景 新存储替换老存储应用业务量增长后，需要更高的I/O性能，将I/O负荷分摊到其它存储。把SVC加入或者退出现有的存储环境规则规则VDisk可从一个MDG迁移到另一MDG,或者从一个I/O Group迁移到另一个I/O GroupExtents只可在MDG内部迁移迁移速度控制迁移速度控制每个迁移实例可设置1-4个迁移线程。线程多则迁移速度快，占用资源比例高，反之则速度慢，占用资源少。 2010 IBM Corporation新旧数据迁移新旧数据迁移存储局域网SVCImageModeServer旧存储系统新存储系统1.将SVC植入SAN2.部署新的存储系统3.透明的将数据从旧存储迁移到新存储上演示 2010 IBM CorporationSVC的功能和优势的功能和优势 异构磁盘系统之间做复制服务异构磁盘系统之间做复制服务传统SAN环境 不同设备厂商提供了不同的复制API 复制目的地和复制源必须为同构平台 不同产品使用不同的多路径驱动程序 低端磁盘设备没有复制功能，或仅提供很初级的复制功能引入SVC后 整个SAN环境中使用公共、统一的复制API，不会随着存储设备改变而改变 所有存储阵列使用公共的多路径驱动程序 复制目的地可以使用低价的磁盘设备，从而减少了远程灾备所需的成本SANSANSANVolume ControllerIBMDSxIBMDSxEMCSymEMCSymFlashCopyPPRCTimeFinderSRDFIBMDSxIBMDS4xEMCSymHPMASVCIBMS-ATA演示 2010 IBM CorporationVendor_ZSVC Metro MirrorSVC Global MirrorSAN生生产中心中心灾灾备中心中心Vendor_YManagement LANSVC Manage ConsoleNodeNodeSANSVC ClusterFC or extensionNodeNodeIPFCVendor_X0101101010010101101010101010010110101010101010110101001010101010101010010101010101010010100101101010010101SVC ClusterSVC高级解决方案高级解决方案异构存储本地异构存储本地HA 远程容灾，实现最高远程容灾，实现最高级别数据保护级别数据保护SVC VDM对外服外服务IPIP网网 2010 IBM Corporation20SVC 6.1 Easy TierWhat is Easy Tier?根据工作负载特性自动将活动数据在不同存储层次间重新分布降低IO响应时间用户可以选择自动或者半自动的数据块放置和迁移管理方式Why it matters?SSD提供比磁介质更好的吞吐量和IO响应时间. 将整个vdisk卷全部迁移到SSD通常情况下并不是最佳方案。将热点数据块自动迁移到高性能存储上，少量的SSD就可以极大的提高整个系统的性能。将支持SEVdisks精简卷, 优于EMC FAST v2SVC ClusterExternal SSD RAID Array(s)FC/SAS RAID Array(s)SATA RAID Array(s)ApplicationVirtualDiskIBM System Storage SAN Volume ControllerNew on SVC 6.1 2010 IBM CorporationSVC使用创新的可扩展的使用创新的可扩展的SSD技术技术增加 SSDs 进行容量的扩展SSDs 可以无中断地加入到svc引擎中增加SVC 引擎扩展性能和容量增加的引擎提供了更大的处理能力， 更高的带宽和跟多的链接能力SVC designed to deliver maximum I/O capability of SSDsUp to 50,000 read IOPS per SSDUp to 200,000 read IOPS per SVC I/O GroupUp to 800,000 read IOPS per SVC cluster增加SSDs 容量扩展SVC I/O Groups 吞吐量和存储容量 2010 IBM Corporation存储云存储云物理设备层物理设备层设备管理层设备管理层数据管理层数据管理层服务接入层服务接入层高可用性数据在线迁移数据备份数据归档数据合规重复数据删除内容管理专用APINFSCIFSLUN/iSCSI LUNWebDAV数据安全信息挖掘存储资源部署存存储云用云用户Tier-1 DiskTier-2 DiskTier-3 DiskSAN SwitchTape块存存储云云(LUN服服务)文文件件存存储云云(文件文件服服务)IBMIBM存储云存储云解决方案解决方案数据快照应 用用 相相 关关 性性0100存储虚拟化 2010 IBM CorporationCIFS客户端HTTP 客户端FTP客户端NFS客户端管理管理节点点接入接入节点点.IP网络网络磁磁带库接入接入节点点Storage PodStorage PodSCP客户端.接入接入节点点单一文件名空一文件名空间存存储节点点存存储节点点存存储节点点存存储节点点Infiniband数据网络IP管理网络磁磁盘阵列列磁磁盘阵列列磁磁盘阵列列磁磁盘阵列列一级存储：高速盘阵二级存储：大容量盘阵三级存储：磁带库SONAS简单: : 只有只有3 3个基本个基本组件件 接口接口节点点 多快多快 存存储节点点 多大多大 管理管理节点点 所有节点都是集群方式的高可用模式 外部用户通过 IP 方式接入 所有节点的内部互联通过高带宽、低延时的私有 Infiniband 网络并行网格架构并行网格架构 优秀的线性扩展性 高性能 高可用和冗余SONAS SONAS 系系统软件在所有件在所有节点上运行点上运行 策略性的自动化 全局文件系统 图形化管理界面及操作系统BlockStorageFileStorageDataServices块信息云存信息云存储文件信息云存文件信息云存储数据服数据服务云存云存储网格网格块存存储虚虚拟化化块存存储集群文件存集群文件存储备份云存份云存储归档云存档云存储存储架构优化利器之集群文件存储存储架构优化利器之集群文件存储IBM SONAS:为云时代准备的存储为云时代准备的存储 2010 IBM CorporationPerformance per File-System, by Vendor, based on all publicationsThe graph shows the maximum throughput per file-system, in thousands of IOPS, based on all SPECsfs2008_nfs.v3 publications, by vendor. Data as of February 22, 2011Source: http:/www.spec.org/sfs2008/results/sfs2008.html 2010 IBM CorporationSPEC and the SPECsfs BenchmarkSPEC is the Standard Performance Evaluation Corporation. SPEC is a prominent performance standardization organization with more than 60 member companies. SPEC publishes hundreds of different performance results each quarter covering a wide range of system performance disciplines (CPU, memory, power, and many more).For network file systems, SPEC provides one benchmark for two protocols, NFS and CIFS: SPECsfs2008_nfs.v3 and SPECsfs_cifs, respectively. The benchmark is often abbreviated as SPECsfs, when the context is clear. SPECsfs2008_nfs.v3 is “the” industry-standard benchmark for NAS systems using the NFS protocol.The benchmark does not replicate any single workload or application. Rather, it encapsulates scores of typical activities on a NAS storage system. SPECsfs is based on data submitted to the SPEC organization; the data were aggregated from tens of thousands of fileservers, using a wide variety of environments and applications. As a result, it is comprised of “typical” workloads and with “typical” proportions of data and metadata use as seen in real production environments.Reference: http:/www.spec.org/ 2010 IBM CorporationSONAS Configuration used for SPECsfs SONAS Rel 1.2 (approximately 90 days before General Availability)10 Interface Nodes; each with the maximum 144 GB of memory,Two 10GbE ports per Interface Node, only one port active,8 Storage Pods; each with 2 Storage nodes and 240 drives Drive type: 15K RPM SAS hard drivesData Protection: the drives were configured in 208 RAID-5 arrays (“8+P”) 2010 IBM Corporation网络内容存储协同合作数据 & 一般文件存储能源 & 地理科学高性能分析数字媒体海量扩展,存放Web 2.0内容和云计算应用的数据通用的文件存储,客户希望日常管理比目前的NAS好能源探索和地理科学要求大量可访问的命名空间作分析之用和非常高的性能业务应用数据,包括财务系统和地理科学,统一的命名空间易于使用高性能, 简化管理,适合数字媒体环境的变化多端的需求计算机工程汽车 /航空 / 电子设计处理需要大量的文件存储来实现仿真哪些应用需要文件存储云？哪些应用需要文件存储云？ 2010 IBM CorporationGPFS并行文件系统并行文件系统支持并行I/O操作数据物理上分布在多个存储上提供单一的名称空间视图，实现文件访问的位置独立性向应用提供数据访问接口减少磁盘接口和网络带宽造成的瓶颈，优化I/O资源的使用 2010 IBM CorporationGPFS工作方式和扩展方式工作方式和扩展方式GPFSGPFS可以在线添加存储和服务器，不影响应用正常运行可以在线添加存储和服务器，不影响应用正常运行可能瓶颈点2可能瓶颈点1EthernetInfiniBandSANGPFSGPFS在在IOIO服务器和磁盘存储两层都有很好的线性扩展能力服务器和磁盘存储两层都有很好的线性扩展能力 2010 IBM CorporationSONAS和传统和传统NAS(N Series)的比较的比较海量存储空间SONAS支持14.4PB；N Series最大支持1.2PB线性扩展能力SONAS采用多节点并行处理设计，增加节点同时提高容量和性能；N Series采用传统双控制器设计，扩展能力有限文件存取性能极高SONAS采用多节点并行处理设计，文件系统共享存取性能极高；N Series采用传统双控制器设计，并行存取性能受限制整合分级存储功能SONAS整合包括磁带库的分级存储，根据策略合理使用存储；N Series不支持分级存储内置数据存放策略和信息生命周期管理N Series并不擅长ILM 2010 IBM Corporation . . .scale outscale out高性能并发读写高性能并发读写/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpgIBM Scale Out NAS Policy EngineGlobal Namespace数据分散到存储池中各个磁盘上.自动高性能调优，自动负载均衡Tier 1: SAS drivesTier 2: 1TB SATA drivesTier 3: 2TB SATA drivesInterface nodesInterface nodesInterface nodesStorage nodesStorage nodesStorage nodes逻辑层 物理层 2010 IBM Corporation . . .scale outscale outCreate and write files/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpgIBM Scale Out NAS Policy EngineGlobal NamespaceNote: 三个文件在同一目录下,但是被分配到不同的 物理存储池数据分散到存储池中各个磁盘上.自动高性能调优，自动负载均衡Pool 1: SAS drivesPool 2: Nearline SAS drivesPool 3: Nearline SAS drivesInterface nodesInterface nodesInterface nodesStorage nodesStorage nodesStorage nodesLogical Physical工作负载在所有的Interface Node间自动均衡 2010 IBM CorporationWrite file one user scale out more disk drives/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xlsInterface nodeGlobal NamespaceInterface nodePolicy EnginePool 1Pool 3Interface nodeIBM Scale Out NAS Storage nodesStorage nodesStorage nodes . . .scale out scale outWrite performance is aggregate of all disk drives in storage pool More disks and storage pods provides more performanceLogical Physical 2010 IBM CorporationRead files one user/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xlsGlobal NamespacePolicy EnginePool 1Pool 2Pool 3IBM Scale Out NAS . . .scale outscale outInterface nodesInterface nodesInterface nodesStorage nodesStorage nodesStorage nodesParallel read of file, performance is aggregate all disk drives in that storage pool. Logical Physical 2010 IBM CorporationRead files multiple users in parallel/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_design.ppt/home/appl/data/web/unstructured_big_video.mpgGlobal NamespacePolicy EnginePool 1Pool 2Pool 3IBM Scale Out NAS . . .scale outscale outInterface nodesInterface nodesInterface nodesStorage nodesStorage nodesStorage nodesParallel streaming reads of multiple files to multiple usersLogical Physical 2010 IBM CorporationStorage nodesStorage nodesStorage nodesStorage nodesStorage nodesStorage nodes36高速的扫描引擎Interface nodesInterface nodeInterface nodeInterface nodeGlobal Namespace部分或全部节点 (无论端口节点或存储节点都可) 可以参与并行的扫描ScaleOut元数据扫描扫描 1千万 文件/每分钟/每节点/home/appl/data/webTier 1Tier 2Tier 3Policy Engine扫描引擎读取SoNAS内部文件元数据（metadata）不需要读取文件或文件结构树所有节点可以参与文件扫描1. 开始扫描2. 读取策略3. 并行扫描4. 返回扫描结果IBM Scale Out NAS This is a unique value of SONAS 2010 IBM Corporation自动分级存储：数据移动自动分级存储：数据移动当分级存储策略确定后：并行数据移动引擎实现物理移动：另外一个存储池另外一个站点外部HSM存储在物理数据移动过程中文件仍然是可用的（在线迁移）在全局命名空间中不需要改变逻辑文件路径每个节点在数据移动过程中都并行参与迁移物理数据块到新的位置文件可以基于策略引擎的定义被promoted / demoted，策略可以是：File access patterns, data last accessed, size of file, etc.User ID, group id, type of file, etc.在SONAS 内部的数据移动由SONAS的软件来实现不需要外部TSM server（SONAS内部数据移动） 2010 IBM CorporationStorage nodesStorage nodesStorage nodesStorage nodesStorage nodesStorage nodes分层存储数据自动迁移Interface nodesInterface nodeInterface nodeInterface nodeGlobal Namespace2.部分或全部节点 (无论界面节点或存储节点都可) 可以参与并行的数据搬移ScaleOut/home/appl/data/webTier 1Tier 2Tier 3/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg1. 执行扫描的结果Policy Engine注意注意: 所有3个文件逻辑目录没有任何改变，也没有任何中断IBM Scale Out NAS HSM using external serverStub files left on disk Auto-recall if accessed 2010 IBM Corporation通过通过TSM实现实现HSM到带库到带库IBM SONAS提供策略驱动（policy-driven）的HSM到磁带的能力扫描引擎（Scan engine）用来标识需要迁移到磁带的文件传送需要迁移数据块的列表（list） 到TSM/HSM文件存根（Stub file）留在磁盘上 读取时可以自动召回（auto-recall）可以实现使用TB的磁盘存储PB级别的数据Migrate inactivedata to tape, tape lib, or de-duplication deviceTSM/HSMServerIBM Scale Out NAS Scan engine resultsData 2010 IBM Corporation 异步复制方式异步复制方式IBM SONASGlobal NamespacePolicy EngineStorage Pool 1Storage Pool 2Storage nodeStorage nodeRemote Scale Out NASInterface node2. Scan, hash compareInterface nodehashhashHash determines incremental changes to send1. Submit asyncreplication tasks3. Parallel transmit to remote siteStorage Pool 1Storage Pool 2Global Namespaceremote IBM SONASPolicy Engine/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpgRemote site updated 2010 IBM CorporationInterfaceInterfaceData ModuleInterfaceInterfaceInterfaceData ModuleData ModuleData ModuleData ModuleData ModuleData ModuleSwitchingSwitchingScale Out设计原原则:大大规模并行模并行 细粒度数据分布粒度数据分布业界界标准准组件件 紧耦合耦合disk, RAM and CPU虚虚拟化架构零管理化架构零管理BlockStorageFileStorageDataServices块信息云存信息云存储文件信息云存文件信息云存储数据服数据服务云存云存储网格网格块存存储虚虚拟化化块存存储集群文件存集群文件存储备份云存份云存储归档云存档云存储存储架构优化利器之存储架构优化利器之网格网格块存存储:XIV 2010 IBM CorporationIBM XIV Storage: 数据分布算法数据分布算法每个卷会分布到所有的磁盘驱动器上/ 所有数据镜像数据被分成1MB “分区” 存储在磁盘上XIV 算法以”伪随机”的方式 自动地 将 ”分区” 分布到系统 所有 的磁盘上分布式算法 的目的就是要实现 磁盘的负载均衡，因此, 当加载数据时IBM XIV存储系统的总体 磁盘利用率可达到100% Data ModuleInterfaceData ModuleInterfaceData ModuleInterfaceSwitching 2010 IBM CorporationXIV 系统变更时的数据分布算法系统变更时的数据分布算法数据的分布只有在系统变更时才发生改变当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持Node 2Node 3Node 1Data Module 2Data Module 1Data Module 3 2010 IBM CorporationNode 4XIV 系统变更时的数据分布算法系统变更时的数据分布算法数据的分布只有在系统变更时才发生改变当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持Data Module 2Data Module 3Data Module 1 hardware upgrade Data Module 4 2010 IBM CorporationXIV 系统变更时的数据分布算法系统变更时的数据分布算法数据的分布只有在系统变更时才发生改变当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持Data Module 2Data Module 3Data Module 4Data Module 1 hardware failure 2010 IBM CorporationXIV: 5个亮点个亮点高可靠性高可靠性/可用性可用性出色的架构设计提供前所未有的可靠性和可用性, 部件全部冗余, 极高的数据容错能力大规模并行架构消除了系统热点, 实现完美的负载均衡和快速的自愈能力积极的故障预警及扫描持续的高性能持续的高性能所有情形下一致的性能表现, 硬件故障时及快照均不影响系统性能平滑扩展, 几代产品互相兼容极佳的管理性极佳的管理性虚拟化的系统, 简单易用防错设计, 易于操作和变更全部内置的企业功能全部内置的企业功能Tier 1的功能 (快照, 复制,精简资源调配, 数据迁移)内禀于架构之中功能的扩展不带来性能的惩罚开销最佳性价比最佳性价比最小化能耗, 散热和场地空间开销合理的采购成本及最少的运维开销 因此更多的精力可集中于核心业务而非IT46 2010 IBM Corporation无限制的基于指针快照Snapshot 不影响性能, 16000+份快照/系统;精简资源调配Thin Provisioning虚拟化容量分配, 提升空间利用率;远程复制技术 Remote Mirror同步/异步, RPO可调, 支持一致性组(CG);数据迁移技术 Data Migration支持异构存储, 可在线迁移数据全部内禀的创新企业存储功能全部内禀的创新企业存储功能全部免费!4. IBM XIV Storage: 4. IBM XIV Storage: 企业功能企业功能 2010 IBM Corporation48 up to 120GB of cache27 up to 161TB of usable capacity8 up to 24 FC ports (4Gbps)0 up to 6 iSCSI ports (1Gbps)72 up to 180 1 or 2TB e-SATA drives6, 9, 10, 11, 12, 13, 14 or 15 modules4 to 9 Data ModulesoIntel quad-core CPU with 8GB memoryo12 1TB SATA drives2 to 6 Interface ModulesoData module with dual CPUo4x 4GB FC ports + 2x iSCSI portsEverything is ALL INCLUDED !Data distributionoEach volume is spread across all drivesoData is “cut” into 1MB “partitions” and stored on disksoXIV algorithm automatically distributes partitions across all disksoNo Tuning & No Hot-SpotsStorage scalabilityoModules are added Data is redistributed automaticallyPerformance is unaffected - No manual intervention - No Tuning - No RedesignoNew Data and Volumes are laid out on whole new-larger gridoNew and existing volumes take advantage of the larger gridStorage resiliencyoData is restored from remaining components within gridoPerformance is maintainedo“Self-tuning”High performance snapshotsoDifferentialoWritableoSub-second creation, regardless of sizeXiV 规格概述规格概述Click on the slide to return to the main slideData ModuleUPSUPSUPSData ModuleData ModuleData ModuleHostHostFCEthernetiSCSIHostRemote replicationoSynchronousoAsynchronousMigrationSimple, yet powerful managementoIntuitive browser-based GUIoUsage monitoringoRobust CLIPerformance monitoringThin provisioning1/3 Years warranty, 24x7,4 hours response, call home & remote supportIBM hardware installation and maintenance 2010 IBM Corporation利用利用SVC “云存储云存储”特性建设企业特性建设企业“云计算云计算”环境环境HMCDirector服务器服务器NIM & DNS服务器服务器TPC服务器服务器管理员管理员用户用户P 570 AP 570 BESX 1blade1ESX 2blade2ESX 3blade3ESX 4blade4SMI-Sblade8PC服务器云服务器云IP 网络网络ACDC21SYSTEM MGMTPCI-Express x82PCI-X 100MHz/64 Bit1SAN网络网络EMCSVCIP IP 网络网络SAN SAN 网络网络存储虚拟组件存储虚拟组件PC PC 服务器管理组件服务器管理组件UNIX 服务器云服务器云虚拟中心虚拟中心blade9DS 5100ACDC21SYSTEM MGMTPCI-Express x82PCI-X 100MHz/64 Bit1