Data Domain 技术和产品技术和产品SherryWang王从容SystemEngineercwangdatadomain.comCell:139234475671公司简介公司简介 Data Domain,Inc.成立于成立于 2001,Palo Alto,加利福尼亚加利福尼亚, 现在现在Santa Clara投资人投资人: Greylock, NEA, Sutter Hill Ventures成立之初人员来源成立之初人员来源: NetApp, Legato, Sun,Princeton University产品第一次出厂产品第一次出厂 (FCS) 2004年年2月月已有已有4500 多套系统被安装。总容量超过多套系统被安装。总容量超过432 PB全球用超过全球用超过2500多用户多用户专利专利 Efficient Data Storage 700 员工员工 （2008年年10月）月）全球有全球有600多个销售伙伴多个销售伙伴 3企业级数据保护系统企业级数据保护系统 u创立并定义“重复数据删除”理论u10000安装实例u2500客户u432petabytes数据处于DD保护之下技术创新历史技术创新历史 “行业第一行业第一” ！ Data Domain: 领导者和创新者领导者和创新者First Dedupe NASFirst Dedupe Volume ReplicationFirst Dedupe GatewayLargest Dedupe ArrayFirst DedupeDirectory ReplicationFirst Dedupe VTL200320042005200620074市场占有市场占有(Dedupe)2007 RevenuesDataDomain: 60% 市场占有量市场占有量5Data Domain Financials (USD Million)* IPO dated June 26, 2007 *6数据存储系统的通用架构数据存储系统的通用架构主存储设备应用服务器数据库服务器邮件服务器文件服务器存放全部数据(大量)高性能数据存取造价高无保护,需要备份全部数据恢复耗时长高端设备可能有镜像数据恢复设备(COS,tape)备份服务器存放应用数据的影像注重成本和空间的使用率不在应用服务器的数据线上备份软件存取数据内容不直观专有格式备份软件管理数据保护建立备份策略,管理catalog数据以基本方式传输bulktransfer用户不能直接使用unbrowsable7备份容量的真实需求！备份容量的真实需求！Primary DataBackup Data5-10X Primary8容量优化存储容量优化存储 (COS)市场预测市场预测Source:TanejaGroupNextGenerationDataProtectionMarketProfile,12/06$M磁带库存储磁带库存储容量优化存储容量优化存储9备份备份/恢复现状调查恢复现状调查仅依靠磁带系统实现数据保护已经仅依靠磁带系统实现数据保护已经不能满足今天的需求不能满足今天的需求超过超过 80% 的情况要求在数据失效的情况要求在数据失效发生后的发生后的48小时内完成数据恢复小时内完成数据恢复60-70% 的存储管理开销的存储管理开销 是在备份是在备份/恢复领域恢复领域存储管理员的存储管理员的15% 的时间用于恢的时间用于恢复操作复操作5-20% 备份备份/恢复作业失败恢复作业失败每年每每年每TB磁盘存储产生的相应备磁盘存储产生的相应备份份/恢复的成本为恢复的成本为 $5,935METAGroup,April1,200410备份设备比较备份设备比较(磁盘设备磁盘设备VS 磁带设备磁带设备)传统基于磁带解决方案基于磁盘解决方案维护需求定期清洗磁带驱动器，注意防尘、防湿定期清洗磁带驱动器，注意防尘、防湿等同普通服务器硬件，几无维护量等同普通服务器硬件，几无维护量设备可用性多驱动器多个非封闭易损机械故障点多驱动器多个非封闭易损机械故障点无无RAIT驱动器冗余不能降低备份流产率驱动器冗余不能降低备份流产率维修周期长，难免造成运营困扰维修周期长，难免造成运营困扰Storage Magazine统计，在美国机械磁统计，在美国机械磁带库每年的维修费用高达采购成本的带库每年的维修费用高达采购成本的15%封闭电子设备：不受外部环境干扰封闭电子设备：不受外部环境干扰降级工作能力：冗余磁盘驱动器阵列降级工作能力：冗余磁盘驱动器阵列自动报警背景重构在线热恢复（三保险）自动报警背景重构在线热恢复（三保险）用户可自行热插拔更换报警磁盘，无维修周用户可自行热插拔更换报警磁盘，无维修周期之虞期之虞恢复可靠性磁带组内无容错保护，单一磁带卡带、磁带组内无容错保护，单一磁带卡带、磨损、粘连、霉点等会导致涉及的整个磨损、粘连、霉点等会导致涉及的整个备份任务组无法恢复，备份任务组无法恢复，ESG企业集团统计，磁带备份不可恢复企业集团统计，磁带备份不可恢复率高达率高达20%，常需双备份以保合理恢复，常需双备份以保合理恢复安全安全磁盘磁盘RAID容错，同一时刻无三块以上磁盘容错，同一时刻无三块以上磁盘损毁即不会导致备份丢失。自动报警背景损毁即不会导致备份丢失。自动报警背景重构在线热恢复合理巡检可彻除数据丢重构在线热恢复合理巡检可彻除数据丢失失恢复可靠性较磁带提高若干量级，有效容量恢复可靠性较磁带提高若干量级，有效容量利用率可轻易高出机械磁带库利用率可轻易高出机械磁带库2倍以上倍以上恢复便利性需等待找带、加载和机械定位。平均文件需等待找带、加载和机械定位。平均文件查找时间查找时间 1分钟分钟即时数据定位即时数据定位应用安全性流制式存放备份于磁带，操作系统无法识流制式存放备份于磁带，操作系统无法识别，任何在线灾难均不能威胁备份数据别，任何在线灾难均不能威胁备份数据流制式存放备份于磁盘，操作系统无法识别，流制式存放备份于磁盘，操作系统无法识别，任何在线灾难均不能威胁备份数据任何在线灾难均不能威胁备份数据介质寿命无源介质，寿命以可擦写次数衡量，每次无源介质，寿命以可擦写次数衡量，每次备份均需多次擦写磁带的备份均需多次擦写磁带的Index区区高可用有源介质。但磁盘工作于高可用有源介质。但磁盘工作于“顺序读顺序读/写写”状态，负载仅为在线盘阵的百分之几状态，负载仅为在线盘阵的百分之几11数据保护面临的挑战数据保护面临的挑战 / 为何要无磁带化为何要无磁带化数据在磁盘上存放数据在磁盘上存放的时间要足够长的时间要足够长需要新技术需要新技术: 容量优化容量优化 Capacity Optimization用磁盘做备份介质所面临的挑战用磁盘做备份介质所面临的挑战如何做到容灾如何做到容灾数据异地复制数据异地复制数据可恢复性的保障数据可恢复性的保障Invulnerability成本成本数据年增长数据年增长80%13Data Domain 专有技术专有技术 COS要存储的物体要存储的物体 (外界看到的外界看到的)物体被分解成组件。同时产生组件物体被分解成组件。同时产生组件组装成物体的指令。组装成物体的指令。 重复的组件被出去。重复的组件被出去。节省存储空间。节省存储空间。14Data Domain 专有技术专有技术 COS物体被分解成四个组件和组装指令物体被分解成四个组件和组装指令 四个组件中的三个已在上一次存过。四个组件中的三个已在上一次存过。所以此次只存一个新的组件和新的所以此次只存一个新的组件和新的指令。指令。很多物体都可以由此三个组件组很多物体都可以由此三个组件组成，只要有组装指令即可。成，只要有组装指令即可。15Second Friday Full BackupBCDEFLGH数据保留数据保留: 重复数据删除技术重复数据删除技术A B C D E F G H I JFriday Full BackupABCDAEFGMonIncrABHTuesIncrCBIThursIncrACKWedsIncrEGJBACKUP DATALOGICALESTIMATEDPHYSICALREDUCTIONMonday Incr 50 GB 7-10x 5 GBTuesday Incr 50 GB 7-10x 5 GBK LWednesday Incr 50 GB 7-10x 5 GBThursday Incr 50 GB 7-10x 5 GB2nd FRIDAY FULL 1 TB 50-60x 17 GBFIRST WEEK 2.2 TB 7x-8x 287 GBFRIDAY FULL 1 TB 2- 4x 250 GB用很少的空间存储更多的备份数据用很少的空间存储更多的备份数据.TYPICAL RETENTION 10x 30x16长期保存数据长期保存数据: : 用更少的空间存更多的数据用更少的空间存更多的数据Week 1BACKUP DATALOGICALESTIMATEDPHYSICALREDUCTIONApril 14 3.8 TB 10x 366 GBApril 21 5.2 TB 12x 424 GBApril 28 6.6 TB 14x 482 GBMay 31 12.2 TB 17x 714 GBJune 30 17.8 TB 19x 946 GBTOTAL 23.4 TB 20x 1178 GBApril 7 2.4 TB 8x 308 GBOver 1 year of retention in 3 of Data Domain protection storage.Week 2Week 3Month 1Month 2Month 3Month 4July 31 23.4 TB 20x 1178 GB17数据恢复数据恢复: 数据无损架构数据无损架构其他其他 RAID6 NVRAM备份数据的校验备份数据的校验 CheckSum Dedupe, write to disk Verify, notify, self-healProtect Data at Rest Append-only FS Simple log structure Continuous scrubTrust but verify hope is not a strategy.18设备维护和升级设备维护和升级NVRAM72小时掉电保护Raid6保护-可以同时坏2块磁盘HotSpare磁盘更换磁盘自动rebuilt数据升级简单,只需要半个小时本地配置备件如果控制器出现故障,更换控制器后,可以迅速重新读取数据19效果最佳的重复删除技术效果最佳的重复删除技术Dedupe: Data Domain SISLTMDisk SpindlesThroughput200MB/sec100MB/sec50MB/sec2001005010MostDedupeVendorsFCDrives:2xSATAspeed3x-5x$SATASATADrivesDD systemsbased on SATADataDomain20易于与现有架构集成易于与现有架构集成3U15 500 GB SATA drivesRAID 6NVRAMN+1 Fan2 - 4 Ports5.1 - 15 TBFile SystemSAN (Gateway to: EMC, HDS, Nexsan)CIFS, NFS, NDMPFC = VTLReplication无需中断系统运行进行实施无需中断系统运行进行实施.And others21Data Domain 的数据保护体系的数据保护体系FCBackup ServerPrimary StorageGigELANSANTape Library仅用于长期归档GB EthNFS or CIFSFC VTL22Datadomain容灾解决方案容灾解决方案客户端生产服务器主存储镜像存储备份服务器WAN生产中心备份设备灾备中心备份设备ReplicationDRArchiveBackupRetention/RestoreData Domain COS技术数据复制容灾架构技术数据复制容灾架构u磁带用于长期归档u数据可从任何一方恢复u远程办公室无需磁带设备u节省95%带宽以上u极大降低广域连接造价23Data Domain 数据保护解决方案（广域网入库）数据保护解决方案（广域网入库）数据中心数据中心远程办公室远程办公室 1ClientsDDDD介质服务器DDClientsClients备份服务器DD磁带库存档WAN Vaulting通过广域网数据入库通过广域网数据入库远程办公室远程办公室 2远程办公室远程办公室 3介质服务器介质服务器24一个真实的金融客户应用实例一个真实的金融客户应用实例WANIndiahomeBostonSan FranciscoBackup DataBackup DataBackup DataNew YorkhomeDIR A数据源数据源: 远程站点远程站点目的地目的地: 数据中心数据中心 95- 99% Bandwidth Reduction95-99%1- 5%95-99%1- 5%95-99%1- 5%True DR; lowers WAN costs; improves SLAs.25WAN DR: DD inline dedupe / replication数据只有被存放的本地之外的其他地方才是安全的。数据只有被存放的本地之外的其他地方才是安全的。其他的其他的D2D备份：远程数据的恢复通常是用镜像数据取代主数备份：远程数据的恢复通常是用镜像数据取代主数据据ReplicateduringbackupStore to cache dedupe & replicate, or tape/truckDR-ReadyDataDomainOtherD2DTIME26Industrys Most Scalable Inline Dedupe SystemsAppliance & GatewaySeriesDD510DD530DDX Array SeriesDD580/DD580gReplicator,VTL,OST&RetentionLocksoftwareoptionsDD565Upto16ControllersInternalorExternalStorageDD120DD510DD530DD565DD580/gDD690/gDDX ArraySpeed (GB/hr)150290360 6308001.4 TB/hr22.4 TB/hrLogical Cap. (TB)7-1855-135110-285320-810430-1.08 PB710-1.7 PB11.3-28 PBRaw Cap. (TB).750Up to 3.75Up to 7.5Up to 23.5Up to 31.5Up to 48Up to 768Usable Cap. (TB).373Up to 2.7Up to 5.7Up to 16.2Up to 21.6Up to 35.3Up to 564DD120DD690/DD690g28DD500 系列系列PerformanceReliabilityReplicationCost主要性能指标主要性能指标物理参数物理参数3U设备，可安装与设备，可安装与19”标准机架标准机架备份数据流接口备份数据流接口(与备份服务器接口）与备份服务器接口）千兆网（千兆网（NFS,CIFS),光纤，可并存光纤，可并存存储硬盘存储硬盘可自带，也可外界（网关模式）可自带，也可外界（网关模式）远程复制（远程复制（Wan Vaulting)IP 连接连接VTL仿真仿真STK L180, IBM LTO1网关模式网关模式后端可接后端可接CX, HDS, NexSan29总结总结: 关键技术特征关键技术特征与现有架构无缝集成与现有架构无缝集成u无需中断或替换现有设备数据保留数据保留: 重复数据删除重复数据删除u以更少的空间存储更多的数据数据恢复数据恢复: 数据无损架构数据无损架构uTrustbutverifyhopeisnotastrategy数据复制数据复制: 极大的降低对广域网的带宽需求极大的降低对广域网的带宽需求u真正的灾难恢复解决方案u大为降低WAN使用成本u有效提高SLAs绿色环保绿色环保: : 只是传统备份产品耗电的只是传统备份产品耗电的2% -5%2% -5% 30Data Domain + 赛门铁克赛门铁克 战略伙伴联盟战略伙伴联盟公司高层的定期互动公司高层的定期互动60% DD 产品和产品和NBU或或Backup Exec 一起工作一起工作和和Netbackup一起支持新的面向磁盘存储的一起支持新的面向磁盘存储的OST协议协议, 优优化备份效率和远程复制功能的灵活管理化备份效率和远程复制功能的灵活管理.31Data Domain 的部分客户的部分客户32Data Domain 的部分客户的部分客户33Data Domain 的部分客户的部分客户 ScientificDesign,Inc.Och-ZiffCapitalManagementGroupCapital Management34测试结果测试结果(一一) : 备份与恢复备份与恢复BCV的数据每天凌晨12:00实施同步,做营业数据库的全备。备份数据量：680GB备份速度：65M/S备份时间：3小时此次测试取第二次的数据库备份数据做数据恢复：测试结果：数据库恢复成功。恢复速度：82M/S恢复时间：2.5小时（包括recover时间）36测试结果测试结果(二二) : 重复数据删除重复数据删除从第二次备份开始重复数据删除的比率30备份的速度=设备标称速度以NFS格式把详单直接export到磁盘上重复数据删除的比率远远大于数据压缩的比例可以全局压缩,从VTL和NFS读入的数据可以互相使用重复数据删除技术安装用户稳定使用的压缩比为:2037中国用户中国用户中国国家外汇管理局中国国家外汇管理局贵州烟草贵州烟草西南交通大学西南交通大学大唐电力总公司大唐电力总公司山西电力山西电力辽宁铁法煤矿辽宁铁法煤矿奇瑞汽车奇瑞汽车SybaseSybase中国中国阿斯利康中国阿斯利康中国摩托罗拉中国（北京、南京、杭州）摩托罗拉中国（北京、南京、杭州）国航国航辽宁移动辽宁移动长盛律师事务所长盛律师事务所中国石油天然气公司中国石油天然气公司陕西省经济信息中心陕西省经济信息中心苏州工业园苏州工业园江西电信江西电信宁波工商局宁波工商局阿尔卡特贝尔阿尔卡特贝尔太平洋保险公司太平洋保险公司赫斯基中国赫斯基中国 江苏造船集团江苏造船集团38成功案例（一）成功案例（一） 贵州烟草贵州烟草 11个地市分公司将数据备份到DD，其中5个分公司将数据复制到省机关，另外6个分公司将数据复制到省公司，省公司和省机关之间再互相复制备份软件：Legato7.3备份设备：13台DD410/430WAN带宽：2MbSDH压缩比：1：23性能：45MB/S39成功案例（二）成功案例（二） 外汇局总局外汇局总局 目前43个分局通过专线以FTP方式将每天的新数据传送到总局，总局将数据备份到DD560，备份软件：Netbackup5.1备份设备：1台DD560压缩比：1：28性能：90MB/S数据类型：文件系统40成功案例（三）成功案例（三） 香港水利局香港水利局 原始原始420GB的备份数据在的备份数据在DD中经过容量中经过容量优化后再通过优化后再通过2M带宽的传输只需要带宽的传输只需要4小时小时左右就可以完全复制到异地的左右就可以完全复制到异地的DD中。中。备份数据:应用系统数据库备份时间:小于2小时备份数据:420GB压缩比:22倍广域网入库(WANVaulting)WAN千兆网千兆网备份介质服务器备份介质服务器千兆网千兆网应用系统/数据库41期待与您的共赢！期待与您的共赢！Q & A42