存储基础知识存储基础知识HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 参考资料参考资料存储基础知识白皮书存储基础知识白皮书Page 2HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential DASDAS分析分析l连接简单集成在服务器内部；点到点的连集成在服务器内部；点到点的连接；距离短；接；距离短；安装技术要求不高安装技术要求不高l低成本需求SCSISCSI总线成本低总线成本低l较好的性能l通用的解决方案DASDAS的投资低，绝大多数应用可的投资低，绝大多数应用可以接受以接受DASDAS优势优势l有限的扩展性SCSISCSI总线的距离最大总线的距离最大2525米；最多米；最多1515个设备个设备l专属的连接空间资源无法与其他服务器共享空间资源无法与其他服务器共享l备份和数据保护备份到与服务器直连的磁带设备上备份到与服务器直连的磁带设备上硬件失败将导致更高的恢复成本硬件失败将导致更高的恢复成本lTCO（总拥有成本高）存储容量的加大导致管理成本上升存储容量的加大导致管理成本上升存储使用效率低存储使用效率低DASDAS劣势劣势HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential NASNAS（N Network etwork A Attachment ttachment S Storagetorage）应用应用服务器服务器File I/OIP协议协议NAS网网络连接存接存储：存储设备连接到现有的网络上，提供数据和文件服务HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 典型典型NASNAS结构结构Page 11HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential NASNAS的优势的优势l资源共享l构架于IP网络之上l部署简单l较好的扩展性l异构环境下的文件共享l易于管理l备份方案简单l低的TCONASNAS优势优势l扩展性有限l一些应用会占用带宽资源l不适应某些数据库的应用NASNAS劣势劣势HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential SANSAN（S Storage torage A Area rea N Networketwork）应用应用服务器服务器Block I/OFCP协议协议SAN存存储区域网区域网络： ：它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 典型典型SANSAN结构结构Page 14HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential SANSAN的优势的优势l实现存储介质的共享l非常好的扩展性l易于数据备份和恢复实现备份磁带共享实现备份磁带共享LAN FreeLAN Free和和Server FreeServer Freel高性能l支持服务器群集技术l容灾手段l低的TCOSANSAN优势优势l成本较高需要专用的连接设备如需要专用的连接设备如FCFC交换机交换机以及以及HBAHBAlSAN孤岛l技术较为复杂需要专业的技术人员维护需要专业的技术人员维护SANSAN劣势劣势HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential DAS/NAS/SANDAS/NAS/SAN三种形态比较三种形态比较DASNASFC-SANIP-SAN传输类型SCSI、FCIPFCIP数据类型块级文件级块级块级典型应用任何文件服务器数据库应用视频监控优点易于理解兼容性好易于安装成本低高扩展性高性能高可用性高扩展性成本低缺点难以管理，扩展性有限存储空间利用率不高性能较低对某些应用不适合比较昂贵，配置复杂互操作性问题性能较低Page 16HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 目目 录录1.存储组网形态2.2.主要协议主要协议3.RAID4.磁盘热备与重构5.快照与复制6.数据分级存储概念Page 17HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 存储传输的硬件通道有三种：存储传输的硬件通道有三种： 传输通道传输通道通过以太网线连接通过SCSI线缆连接通过光纤线缆连接 iSCSI HBA CardiSCSI 磁盘阵列SCSI HBA CardSCSI 磁盘阵列FC HBA CardFC磁盘阵列以太网线SCSI线缆光纤线缆主机GE CardHUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential SCSISCSI协议协议SCSISCSI是小型计算机系统接口（Small Computer System Interface）的简称，主要用于高端系统的连接，现在已完全普及到了小型机及高端服务器。SCSI存储是以主机为中心的；一条SCSI总线上可以串接多台不同类型的设备。SCSISCSI协议协议可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。 属于SCSI-3 的 Ultra 320 SCSI 的最高数据传输率已经达到了320MB/s。Page 19HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential iSCSI协议协议iSCSIiSCSI是互联网小型计算机系统接口（Internet Small Computer System Interface）的简称，是一种在TCP/IP上进行数据块传输的标准，可以理解为SCSI over IP。iSCSIiSCSI实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份 操作。可用于构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案。iSCSIiSCSI是将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输。 iSCSI iSCSI的数据包结构：的数据包结构：Page 20HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential FC协议及组件协议及组件FCFC是光纤通道（Fiber Channel）的简称，用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。FCFC是一种高性能的串行连接标准。其接口传输速率目前有1G、2G、4Gbit/s几种标准。传输介质可以选择铜缆或光纤，支持多种互联拓扑结构。Fiber Channel Fiber Channel 组件：组件：HBA卡：Host Bus Adapter(主机通道适配器)，FC HBA卡在应用中，相当于SCSI卡。我们后面讲到的node和port就在HBA卡上，FC switch：光纤交换机，SAN架构中核心设备，连接服务器和存储设备。Page 21HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential iSCSIiSCSI协议的分层结构协议的分层结构FCFC协议的分层结构协议的分层结构iSCSIiSCSI和和FCFC协议层次比较协议层次比较HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 目目 录录1.存储组网形态2.主要协议3.3.RAIDRAID4.磁盘热备与重构5.快照与复制6.数据分级存储概念Page 23HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAIDRAID简介简介 RAID是廉价冗余磁盘阵列(Redundant Array of Inexpensive Disks) 的简称名词名词说明说明分区又称为Extent；是一个磁盘上的地址连续的存储块。一个磁盘可以划分为多个分区，每个分区可以大小不等，有时也称为逻辑磁盘。分块又称为Strip；将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。分块通常被认为是条带的元素。虚拟磁盘以它为单位将虚拟磁盘的地址映射到成员磁盘的地址。条带又称为Stripe；是阵列的不同分区上的位置相关的strip的集合，是组织不同分区上条块的单位。软RAIDRAID 的所有功能都依赖于操作系统（OS）与服务器CPU来完成，没有第三方的控制/处理（业界称其为RAID 协处理器RAID Co-Processor）与I/O芯片硬RAID有专门的RAID 控制/处理与I/O处理芯片，用来处理RAID任务，不需耗用主机CPU资源，效率高，性能好。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID0 RAID0 ：Striped Disk Array without Fault Tolerance( 没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。总容量总容量=(=(磁盘数量磁盘数量)*()*(磁盘容量磁盘容量) )RAID0（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 优点缺点可多I/O操作并行处理，极高的读写效率速度快，由于不存在校验，所以不占用cpu资源设计，使用与配置简单无冗余，一个RAID 0的磁盘失败，那么数据将彻底丢失不能用于关键数据环境适用领域：视频生成和编辑图像编辑较为“拥挤”的操作其他需要大的传输带宽的操作 至少需要磁盘数 ：2个RAID0（二）（二）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID 1 RAID 1 ：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。总容量总容量=(=(磁盘数量磁盘数量 / 2)*( / 2)*(磁盘容量磁盘容量) ) RAID1（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID1（二）（二）优点缺点理论上读效率是单个磁盘的两倍；100的数据冗余；设计、使用简单ECC效率低下，磁盘ECC的CPU占用率是所有RAID等级中最高的，在所有成本高；软RAID方式下，很少能支持硬盘的热插拔；空间利用率只有1/2适用领域：财务统计与数据库金融系统其他需要高可用的数据存储环境至少需要磁盘数 2个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID3 RAID3 (条带分布条带分布+专用盘校验专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据， 虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上 ，同时计算出xor校验数据存放到校验磁盘上。总容量总容量=(=(磁盘数量磁盘数量 -1)*(-1)*(磁盘容量磁盘容量) ) RAID3（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID3（二）（二）优点缺点相对较高的读取传输率高可用性，如果有一个磁盘损坏，对吞吐量影响较小高效率的ECC操作校验盘成为性能瓶颈每次读写牵动整个组，每次只能完成一次I/O 适用领域：视频生成和在线编辑图像和视频编辑其他需要高吞吐量的的场合至少需要磁盘数 3个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID5 (RAID5 (条带技术条带技术+ +分布式校验分布式校验) )：以：以XORXOR检验为冗余方式，校验数据均检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。总容量总容量=(=(磁盘数磁盘数 -1)*( -1)*(磁盘容量磁盘容量) )RAID5（一）（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4A AB BC CD DE EHUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID5（二）（二）优点缺点高读取速率中等写速率异或校验影响存储性能磁盘损坏后，重建很复杂适用领域：文件服务器和应用服务器OLTP环境的数据库WEB，EMAIL服务器至少需要磁盘数 3个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID6RAID6：能够允许两颗磁盘同时失效的：能够允许两颗磁盘同时失效的RAIDRAID级别系统。级别系统。总容量总容量=(=(磁盘数磁盘数 - -2 2)*()*(磁盘容量磁盘容量) )A0A1A23PRITYC01PRITY2PRITYA3B0B12PRITY3PRITY0PRITY1PRITYB2B30PRITYC1C2C3A AB BC CD DE ERAID6（一）（一）1234双重校验码的硬盘存储结构在raid5的基础上发展而成,具有更高的可靠性允许出现故障的磁盘达到两个最少需要四个磁盘raid6HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID6（二）（二）优点缺点快速的读取性能更高的容错能力 很慢的写入速度成本更高 适用领域：高可靠性环境至少需要磁盘数： 4个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID10 (镜像阵列条带化镜像阵列条带化)：将镜像和条带组合起来的组合RAID级别，最低一级是RAID1镜像对，第二级为RAID0。总容量总容量=(=(磁盘数磁盘数 / /2 2)*()*(磁盘容量磁盘容量) )D1D2D4D4D2D7D8D8D10D11D11D1D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0 物理磁盘1物理磁盘2 物理磁盘3stripe0stripe1stripe2stripe3D13D14D13stripe4D5D7D10D5D14D3D3D9D9D12D12D15D6D6D15物理磁盘4 物理磁盘5RAID10 （一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID10（二）（二）优点缺点高读取速率高写速率，较校验RAID而言，写开销最小至多可以容许N个磁盘同时损坏（2N个磁盘组成的RAID10阵列）贵只有1/2的磁盘利用率适用领域：要求高可靠性和高性能的数据库服务器至少需要磁盘数： 4个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID50RAID50定义：定义：将镜像和条带组合起来的组合RAID级别，最低一级是RAID5镜像对，第二级为RAID0。总容量总容量=(=(磁盘数磁盘数 -1-1)*()*(磁盘容量磁盘容量) )D1P11D4P12D2P13D11P23D15P14D16D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0物理磁盘1物理磁盘2物理磁盘3stripe0stripe1stripe2stripe3D5D10D14D6D3P21D12D13D17P24P22D7物理磁盘4物理磁盘5D16D17D0RAID50（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID50（二）（二）优点缺点比单个RAI5容纳更多的磁盘比单个RAID5有更好的读性能至多可以容许n个磁盘同时损坏（N个RAID5组成的RAID50阵列）比相同容量的单个RAID5重建时间更短比较难实现同一个RAID5组内的两个磁盘损坏会导致整个RAID50阵列的失效适用领域：大型数据库服务器应用服务器文件服务器至少需要磁盘数： 6个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID 级别比比较项目项目RAID0RAID0RAID1RAID1RAID10RAID10RAID5RAID5、RAID3RAID3RAID6RAID6最小配置最小配置12434性能性能HighestLowestRAID5RAID10RAID0RAID1RAID5 RAID10RAID6RAID5 RAID10特点特点无容错最佳的容错最佳的容错提供容错提供容错磁盘利用率磁盘利用率100%50%50%(N-1)/N(N-2)/N描述描述不带奇偶效验的条带集磁盘镜像RAID0与RAID1的结合带奇偶效验的条带集双校验位其中RAID3与RAID5的区别为：RAID3更适合于顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别。Page 39HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 目目 录录1.存储组网形态2.主要协议3.RAID4.4.磁盘热备与重构磁盘热备与重构5.快照与复制6.数据分级存储概念Page 40HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential u所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。u热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。局部热备盘：只针对某一RAID组起作用。u因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。热备（热备（HotSpareHotSpare）Page 41HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 热备与重构热备与重构在线操作特性在线操作特性 系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘 当满足以下条件时开始数据自动重构 1、有一个热备份盘存在独立于故障磁盘的 2、 所有磁盘都配置为冗余阵列(RAID1,3,5,10) 所有的操作都是在不中断系统操作的情况下进行的RAID5 set of drives:4 active,1 hot-spareCOPY BACK完成完成某个磁盘损坏，重构过程开始某个磁盘损坏，重构过程开始重构过程结束，重构过程结束，RAID5可靠性恢复冗余可靠性恢复冗余插入新磁盘，插入新磁盘，COPYBACK开始开始Page 42HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 目目 录录1.存储组网形态2.主要协议3.RAID4.磁盘热备与重构5.5.快照与复制快照与复制6.数据分级存储概念Page 43HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 逻辑卷快照逻辑卷快照(snapshot)DEA C基本概念：基本概念：Base Volume ：快照源卷Repository Volume ：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据Snapshot Volume ：快照卷某一个时间点的逻辑卷映像：某一个时间点的逻辑卷映像：逻辑上相当于整个Base Volume的拷贝可将Sanpshot Volume分配给任何一台主机Snapshot Volume可读取、写入或拷贝存储空间需求存储空间需求需要相当于Base Volume 20%的额外空间用途用途文件、逻辑卷恢复备份、测试、数据分析等Page 44HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 快照快照(snapshot) 过程演示过程演示 B A S E V O L UM E X Y Z并且我们的卷有足够的空间来创建快照首先保证我们的源卷和阵列的运行是正常的Page 45HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential W R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y Z R I T E S首先，在快照完成之前控制器是禁止对源卷进行写操作的。仓储卷默认是源卷大小的20%满足上面条件后，快照过程开始进行快照快照(snapshot)开始开始 Page 46HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 仓储卷（仓储卷（20%源卷大小）现在可用源卷大小）现在可用快照快照(snapshot)完成完成 R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y ZW R I T E S快照完成状态，实际上是一些指针当快照完成之后，控制器释放对源卷的写权限，我们可以对源卷进行写操作Page 47HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 当源卷数据改变时当源卷数据改变时我们的源卷数据在改变之前会顺序的写到仓储卷上，然后再把快照指针指导这边来。 B A S V O E T S N A P S H O T V O L UM B A S E V O L UM E X Y ZW R I T E S然后源卷的数据才会开始更新Page 48HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 最后一步最后一步我们源卷的原数据已经写到了仓储卷上 B A S V O E T S N A P S H O T V O L UMW R I E T E L UM S X Y Z快照卷的指针指到了新的数据位置源卷数据更新完毕Page 49HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 逻辑卷拷贝逻辑卷拷贝(Volume Copy)生产主机测试主机基本概念基本概念l将一个逻辑卷（Source）上的内容完全物理上 拷贝到另一个逻辑卷（Target）l拷贝过程中源卷只读l在同一个存储系统内目标逻辑卷可以做另一个Volume Copy的源卷用途用途l目标逻辑卷可用来做经营分析、数据挖掘、测 试、备份等l 对目标卷的操作不影响源卷的性能l 重新分配数据，使性能和容量分配达到最优化l 将数据迁移到新的、更大的、更快的磁盘上l 将逻辑卷迁移到更合适的逻辑卷组上Page 50HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 逻辑卷快照逻辑卷快照+逻辑卷拷贝逻辑卷拷贝 通过快照获得Base Volume的 SnapshotVolume在Snapshot Volume被拷贝的过程中Base Volume可被正常访问当拷贝结束时，可将Snapshot删除，留下一个完整的时点拷贝逻辑卷拷贝与逻辑卷快照相结合，实现此功能！如何在Volume Copy过程中对源卷进行正常访问？Page 51HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 目目 录录1.存储组网形态2.主要协议3.RAID4.磁盘热备与重构5.快照与复制6.6.数据分级存储概念数据分级存储概念Page 52HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 数据分级存储概念数据分级存储概念数据分级存储：数据分级存储： 把数据存放在不同类别的存储设备（磁盘、磁盘阵列、光盘库、磁带）中，通过分级存储管理软件实现数据实体在存储设备之间的自动迁移。根据数据的访问频率、保留时间、容量、性能要求等因素确定最佳存储策略，从而控制数据迁移的规则。分级存储的优点：分级存储的优点：最大限度地满足用户需求；减少总体存储成本；性能优化；改善数据可用性；数据迁移对应用透明。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 分级存储的存储方式分级存储的存储方式存储方式存储方式描述描述举例举例线存储（On-line storage)数据存放在磁盘系统上。在线存储一般采用高端存储系统和技术如：SAN、点对点直连技术、S2A。存取速度快，价格昂贵 电视台的在线存储：用于存储即将用于制作、编辑、播出的视音频素材。并随时保持可实时快速访问的状态。在这类应用中，在线存储设备一般采用SCSI磁盘阵列、光纤磁盘阵列等，离线存储（Off-line Storage)数据备份到磁带、磁带库或光盘库上 。访问速度低，但能实现海量存储，同时价格低廉。 电视台的离线存储：平时没有连接在编辑/播出系统，在需要时临时性地装载或连接到编辑/播出系统。可以将总的存储做得很大。括制作年代较远的新闻片、专题片等。近线存储不经常用到，数据的访问量不大的数据存放在性能较低的存储设备上，同时对这些设备的要求是寻址迅速、传输率高。近线存储介于在线存储和离线存储之间，既可以做到较大的存储容量，又可以获得较快的存取速度。近线存储设备一般采用自动化的数据流磁带或者光盘塔。近线存储设备用于存储和在线设备发生频繁读写交换的数据，包括近段时间采集的视音频素材或近段时间制作的新闻片、专题片等。15. NOVEMBE 2006HUAWEI TECHNOLOGIES Co., Ltd.www.huawei.comHUAWEI Confidential Security Level:内部公开 Thank Youwww.huawei.com