云存储技术概述一、概述云计算和云存储是个热度很高的新名词。由于它是多种技术混合演进的结 果，其成熟度较高，又有大公司推动，发展极为迅速。本文将简要介绍一下云 计算、云存储的基本概念以及云存储的结构模型，最后介绍一下目前比较流行 的几种云服务平台。1.1云计算云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处 理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统 经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可 以在数秒之内，处理数以千万计甚至亿计的信息，达到和超级计算机同样强 大的网络服务。云计算系统的建设目标是将运行在PC上、或单个服务器上的独 立的、个人化的运算迁移到一个数量庞大服务器云中，由这个云系统来负责 处理用户的请求，并输出结果，它是一个以数据运算和处理为核心的系统。1.2云存储云存储(cloud st orage)这个概念一经提出，就得到了众多厂商的支持和关 注。云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文 件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来 协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储的核心 是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转 变，是一个以数据存储和管理为核心的云计算系统。二、云存储的结构模型与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、 存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个 部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数 据存储和业务访问服务。云存储系统的结构模型由4层组成，如图1所示。1）存储层存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可 以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云 存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互 联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚 拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。2）基础管理层：基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基 础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存 储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供 更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用 户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数 据不会丢失，保证云存储自身的安全和稳定。3）应用接口层：应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据 实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监 控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应 用平台等。任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享 受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不 同。图1云存储结构模型三、云服务平台目前，业内企业针对云计算和云存储推出了很多种不同种类的云服务，微 软、EMC、亚马逊、谷歌等就是代表，下面将简要介绍这几个企业的云服务平台 产品。3.1微软一Windows Azure Windows Azure是微软基于云计算的操作系统， 和Azure Services Pla tform 样，是微软软件和服务技术的名称Windows Azure的主要目标是为开发者提供一个平台，帮助开发可运行在云服务器、数 据中心、Web和PC上的应用程序。云计算的开发者能使用微软全球数据中心的 储存、计算能力和网络基础服务。Azure服务平台包括了以下主要组件： Windows Azure； Microsoft SQL 数据库服务，Microsoft.Net 服务；用于分享、 储存和同步文件的Live服务；针对商业的Microsoft SharePoint和 Microsoft Dynamics CRM 服务。2008年10月27日，在洛杉矶举行的专业开发者大会PDC2008上，微软首 席软件架构师Ray Ozzie宣布了微软的云计算战略以及云计算平台-Windows Azure。 The Azure Services Platform(Azure)是- -个互联网级的运行于微软数 据中心系统上的云计算服务平台，它提供操作系统和可以单独或者一起使用的 开发者服务。Azure是一种灵活和支持互操作的平台，它可以被用来创建云中 运行的应用或者通过基于云的特性来加强现有应用。它开放式的架构给开发者 提供了 Web应用、互联设备的应用、个人电脑、服务器、或者提供最优在线复 杂解决方案的选择。Windows Azure以云技术为核心，提供了软件+服务的计算方法。它是 Azure服务平台的基础。Azure用于帮助开发者开发可以跨越云端和专业数据中 心的下一代应用程序，在PC、Web和手机等各种终端间创造完美的用户体验。Azure能够将处于云端的开发者个人能力，同微软全球数据中心网络托管 的服务，比如存储、计算和网络基础设施服务，紧密结合起来。这样，开发者 就可以在云端和客户端同时部署应用，使得企业与用户都能共享资源。Ray Ozzie说道。今天，无论对于开发社区还是对于微软来说，都是一个转折点。 我们所提出的技术将改变原来的游戏规则，同时为Web开发者和企业开发者带 来新的机遇。微软会保证Azure服务平台自始至终的开放性和互操作性。企业的经营模 式和用户从Web获取信息的体验将会因此改变。最重要的是，这些技术将使用 户有能力决定，是将应用程序部署在以云计算为基础的互联网服务上，还是将 其部署在客户端，或者根据实际需要将二者结合起来。2. Windows Azure 服务平台Windows Azure服务平台包括5个主要部分：Windows Azure， Live Services， Microsoft SQL Services， Microsoft. NET Services， Microsoft SharePoint Services&Dynamics CRM Services.(1) Windows Azure，用于服务托管，以及底层可扩展的存储，计算和网络 的管理。(2) Microsoft SQL Services，可以扩展 Microsoft SQL Server 应用到云 中的能力。(3) Microsof t.NET Services，使得可以便捷地创建基于云的松耦合的应用 程序。另外还包含访问控制机制可以保卫你的程序安全。(4) Live Services，提供了一种一致性的方法，处理用户数据和程序资源, 使得用户可以在PC、手机、PC应用程序和Web网站上存储、共享、同步文档、 照片、文件以及任何信息。(5) Microsoft SharePoint Services and Microsoft Dynamics CRM Services，用于在云端提供针对业务内容、协作和快速开发的服务，建立更强 的客户关系。Azure就是微软云计算所有服务的基础平台，从Live服务，到数据服务， 到提供SharePoint和Microsoft Dynamics CRM的空间服务。应用程序即可以 运行在云中，也可以运行在本地系统，如下图所示：3. Windows Azure带来的好处Azure服务平台的设计目标是用来帮开发者更容易地创建web和互联设备 的应用程序。它提供了最大限度的灵活性、选择和使用现有技术连接用户和客 户的控制。(1) 利于开发者过渡到云计算：世界上数以百万计的开发者使用.NET Framework和Visual Studio开发环境。利用Visual Studio相同的环境创建 可以编写、测试和部署的云计算应用。(2) 快速获得结果：应用程序可以通过点击一个按钮就部署到Azure服务平 台，变更相当简单，不需要停工修正，是个试验新想法的理想平台。(3) 想象并创建新的用户体验：Azure服务平台可以让你创建Web、手机、 使用云计算的复杂应用。与Live Services连接可以访问4亿Live用户，新的 使用新方式与用户交流的机会。(4) 基于标准的兼容性：为了可以和第三方服务交互，服务平台支持工业标 准协议，包括HTTP、REST、SOAP、RSS,和AtomPub你可以方便地集成基于多种 技术或者多平台的应用。4. Windows Azure SDK 开发工具Azure服务平台使开发者能够在原有的技能、工具和技术(如微软的.NET Framework，Visual Studio等)的基础上，进一步提高应用程序开发的灵活性 和有效性。开发者也可以选择其他的商业或者开源的开发工具或技术，然后通 过Azure服务平台提供的通用Internet标准，比如HTTP、REST、WS-*和 AtomPub来进行操作。微软为我们提供了云计算服务Azure相关的开发工具包, 包括一下三个组成部分：(l) Complete offline development environment,including computation and storage services(2) Complete command-line SDK tools and samples(3) Visual Studio add-in that enables local debugging Windows Azure SDK应运而生，对微软云计算感兴趣的程序员们可以适当关注.微软的 SDK(软件开发工具包)工具包运用Java和Ruby语言。这个工具包可使Java和 Ruby开发者依托Azure平台应用.NET服务。不过，到目前为止，该工具包只允 许Java和Ruby开发者在微软数据中心编写服务程序。官方下载地址：Windows Azure Software Development KIT(January 2009 CTP)。3.2 EMC ATMOS EMC Atmos是第一套容量高达数千兆字节(petabyte,简称 PB)的信息管理解决方案。Atmos能通过全球云存储(cloud storage)环境，协 助客户将大量非结构化数据进行自动管理。凭借其全球集中化管理与自动化信 息配置功能，可以使Web 2.0用户、互联网服务提供商、媒体与娱乐公司等安 全地构建和实现云端信息管理服务。Web 2.0用户正在创造越来越多的丰富应用，文件、影像、照片、音乐等 信息可在全球范围共享。Web 2.0用户对信息管理服务提出了新需求，这正是 云优化存储(cloud optimized storage，简称COS)面世的主要原因，COS也将 成为今后全球信息基础架构的代名词。EMC Atmos的领先优势在于信息配送与处理的能力，采用基于策略的管理 系统来创建不同层级的云存储。例如，将常用的重要数据定义为重要，该类 数据可进行多份复制，并存储于多个不同地点；而不常用的数据，复制份数与 存储地方相对较少；不再使用的数据在压缩后，复制备份保存在更少的地方。 同时，Atmos可以为非付费用户和付费用户创建不同的服务级别，付费用户创 建副本更多，保存在全球范围内的多个站点，并确保更高的可靠性和更快的读 取速度。EMC Atmos内置数据压缩、重复数据删除功能，以及多客户共享与