华中科技大学 硕士学位论文 存储系统的一种多链路技术的研究与实现 姓名：秦晓玲 申请学位级别：硕士 专业：计算机系统结构 指导教师：周敬利 20080604 I 摘摘 要要 随着信息技术的快速发展，以及网络的大规模应用，网络中需要传输的数据呈 爆炸性增长，这给网络传输带来巨大的压力。随着存储系统规模的扩大，存储系统 中形成了复杂的网络链路，因此利用存储网络中的链路资源提高传输率方法的研究 具有实用价值和应用前景。 为了充分利用网络链路资源，构建了一个多链路存储系统，作为研究多链路技 术的平台。 研究发现在 I/O 功能栈中的块层实现多链路功能具有与其他系统模块最小 的耦合性，据此提出了利用系统资源的调度算法，降低系统资源利用率，实现了灵 活配置和扩展。研究了多链路设备的虚拟化技术， 提出了多链路设备的虚拟化实现 的方法，包括增加了表示虚拟设备和链路组的抽象层，建立了相关的映射关系，融 合了回调函数，共享内存和消息机制在模块之间通信的优势，实现了对多链路的统 一管理和级联访问，避免了因虚拟化而引起的模块之间信息慢同步的问题。研究了 故障检测技术，提出了充分考虑网络流量等实时因素来动态预测下一个心跳到达时 间的算法，提高了故障检测的准确度和速率。研究了链路负载平衡及不同的调度策 略，实现了四种简单并有效分担负载的调度策略：根据链路数目而均匀的轮流分担 负载，即轮询；根据各条链路所需要处理的 I/O 数，即选择 I/O 数目最小的链路；根 据各条链路所需要处理的块数，即选择块数目最小的链路；错误恢复，即选择热备 的链路。 在百兆以太网的环境下，对单链路和多链路访问进行了理论分析，并进行了性 能测试， 多链路访问速度高于单链路访问速度， 但由于多链路访问增加了 I/O 重定向 的代价，因而多链路中的单路比普通的单链路访问速度低，并且随着链路数增多， 性能增量降低，这个问题需要在日后的研究中对其做进一步的改进。 关键词：关键词：存储系统，多链路，故障检测，负载平衡，虚拟化 II Abstract With the progress of information technology and the large scale application of Internet, the amounts of data have been substantially increased, which brings a large pressure on network transport. As the extending of the network storage system, there are more and more complicated network links, so the research to improve the performance by utilizing the links is valuable and has great application foreground. To use the network link resource, building a multipath storage system platform to research the multipath technology. Its found that building the multipath module in block layer of I/O function stack has least coupling with the other modules in operation system, so bringing forward schedule algorithm using system resource can reduce the utilization factor of system resource, and is also useful to implement the flexible configuration and scalable function. By researching the virtualization technology, the way to implement the multipath virtualization is put forward, which involves adding the abstract layer to denote the virtual device and path group to implement unified management for the links and layered accessing, building the relative mapping relationship, and integrating the communication advantage of callback function, sharing memory and message mechanism to avoid the synchronization problem. By researching the error detecting technology, putting award a method that considering the network flux to forecast the next beat heart arriving time, which has made the error detecting more correct and faster. By studying the loading balance technology and different schedule strategies, its found that three kinds of strategies can apply to the multipath module to partake the transport task, and all the strategies are effective and simple. The four strategies involves round robin, least I/O, least block, failover. With analyzing and testing to compare performance between multipath and single path, the experiment result is coordinated with the theory analysis. The multipath performance is higher that the single path. But the performance increment is reducing as the link number increasing because of the cost increasing caused by I/O redirection as the same time. So it is necessary to deep research. Keywords: storage system, multipath, error detecting, loading balance, virtualization 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承 担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和 借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密 ，在_年解密后适用本授权书。 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 1 1 概论概论 1.1 存储系统的多链路概述及其意义存储系统的多链路概述及其意义 1.1.1 存储系统概述存储系统概述 数据存储技术从连接主机的硬盘，磁带直接备份到当今智能化的存储网络，历 经了 DAS(Direct Attach Storage，直接连接存储)，NAS(Network Attached Storage，网 络附加存储)到 SAN(Storage Area Network，存储区域网络)的发展过程。 随着信息存储需求的增长，网络技术的不断发展，网络存储得到了广泛的应用， NAS 和 SAN 技术逐渐成为信息存储的主流。NAS 将存储设备连接到现有的网络上， 提供数据和文件服务。在 NAS 存储结构中，存储系统不再通过 I/O 总线附属于某个 特定的主服务器(数据库服务器和应用服务器)或客户机。NAS 设备完全独立于网络 中的主服务器，可以看作一个专用的文件服务器。也就是说客户机与存储设备之间 的数据访问已不再需要文件服务器的干预，允许客户机与存储设备之间进行直接的 数据访问。在局域网环境下，NAS 已经实现异构平台之间的数据级共享。 但是 NAS 没有解决与文件服务器相关的备份过程中带宽消耗过大的问题。NAS 使用网络进行数据备份和恢复。这就使得宝贵的带宽资源会被大量的存储事务占用， 实际上， NAS 把应该在 SCSI(Small Computer System Interface)总线来处理的 I/O 转移 到了网络上。 而 SAN 是通过特定的互联方式连接若干台存储服务器组成的一个单 独的数据存储网络。SAN 是一种特殊的高速网络，它连接网络服务器和大磁盘阵列 或者备份磁带库等存储设备。SAN 将存储网络与局域网分离，所有和存储相关的流 量都在存储网络上流动，从而不影响提供服务的局域网性能。SAN 一般包括主机， 存储，软件，网络和服务，它将光纤通道集线器，交换机和网关等网络硬件和软件 管理功能结合为一体，各种设备和软件可以通过高速的存储网络实现时实的信息存 储，访问，共享和保护。SAN 利用在光纤通道协议或者 Internet 协议来加载 SCSI 协 议来达到可靠的数据传输。SAN 的优势有如下几点： 1. 在多服务器共享海量数据时，SAN 支持块级数据传输。由于数据在传输时被 分成数据块，因此 SAN 对服务器处理的依赖变少，SAN 的低延时，高速率， 高可靠等性能就得到了充分的发挥。 2 2. 利用光纤通道或高速以太网速度快的优势通过存储局域网， SAN 可以作远程 镜像，增强系统的灾难防御能力及重建速度，实现远程灾难恢复。 3. SAN 采用可伸缩的网络拓扑结构。用户可以在线添加/删除设备，动态调整 存储网络以及将异构设备统一成存储池。通过具有较高传输能力的光纤通道 连接方式或者以太网交换结构，SAN 内部任意节点之间的可选择多路交换， 这样数据存储管理则集中在相对独立的存储区域网内。同时，数据存储还需 要考虑可用性，