云计算产品与技术方案分析云计算产品及技术方案分析报告北京邮电大学网络与交换技术国家重点实验室2010年11月19日目录1 引言42 云计算产品分类43 国外的主流产品43.1 Amazon云计算方案43.1.1 介绍43.1.2 Amazon Web Services（AWS）43.1.3 弹性计算云EC253.1.4 简单存储服务S353.1.5 数据库服务SimpleDB63.2 Google云计算方案73.2.1 介绍73.2.2 Google App Engine73.2.3 计算服务MapReduce73.2.4 存储服务GFS（Google File System）83.2.5 数据库服务Data Store83.3 Mirosoft云计算方案93.3.1 介绍93.3.2 Windows Azure93.3.3 计算服务93.3.4 存储服务Blob/Table存储103.3.5 数据库SQL服务（SDS）113.4 IBM蓝云113.4.1 概述113.4.2 云计算架构113.4.3 云计算相关产品123.5 Platform云计算方案123.5.1 介绍123.5.2 Platform ISF（Infrastructure Sharing Facility）计算服务123.6 VMware(EMC)云计算方案143.6.1 介绍143.6.2 VMware vSphere143.6.3 云存储服务EMC Atoms164 国内云存储产品164.1 美地森164.2 友友系统174.2.1 DataCell介绍174.2.2 DataCell FS174.2.3 DataCell DB194.2.4 其他相关产品205 几种开源云平台205.1 Hadoop（Apache基金会）205.2 Ecualyptus项目（加利福尼亚大学）215.3 AbiCloud（Abiquo公司）215,.4 MongoDB(10gen)215.5 Enomalism弹性计算平台215.6 Nimbus（网格中间件Globus）216 国内外主要云计算标准化组织和论坛226.1 分布式管理任务组（DMTF）226.2 开放网格论坛（OGF）226.3 结构化信息标准促进组织（OASIS）226.4 全国信息技术标准化技术委员会SOA标准化工作室226.5 其他227 相关对比分析221 引言 当前，云计算技术成为IT领域的研究热点。目前的云计算产品和技术方案层出不穷，国内外研究机构、IT软硬件厂家、标准化组织、开源软件组织都在十分积极的推出云计算产品和技术解决方案。本报告在学习和了解相关云计算技术资料、产品白皮书以及软件手册的基础上，希望对现有产品和技术解决方案给予归纳、整理和分析，实现对各类产品的清晰认识，以便于选择和使用。2 云计算产品分类 云计算产品大体分软件和硬件产品两大类。其中硬件产品是主要依赖于大型服务器设备的提供商实现的面向云特征的具有分布式并行计算能力的设备，代表有IBM、SUM、曙光机等。软件产品是云计算产品的主流，包括虚拟机管理平台、数据存储平台、分布式计算平台等，主要有的平台有Google应用软件引擎（Google App Engine）、微软的Azure平台、亚马逊网络服务（Amazon AWS）、IBM蓝云、Platform Computing的ISF以及VMware的云产品。同时，国内的友友系统和美地森公司在云存储方面也走在了云技术发展的前沿。 3 国外的主流产品 从Google提出云计算技术，到现在，国际上几乎所有一线的IT企业都积极参与进入这块新兴领域，并依据自己传统的技术领域和市场策略提出自己的云计算架构。他们通过深挖技术基础，把大量以前的产品和技术的云计算特征挖掘出来，如软件的虚拟化、分布式存储系统，在此基础上建立自己的云计算产品线。3.1 Amazon云计算方案3.1.1 介绍专业IT企业提供的云计算多多少少会限制在自己提供的系统之上，亚马逊公司不是IT系统制定者而是应用者，所以Amazon平台是开放的。技术特征：弹性虚拟平台核心技术：虚拟化技术Xen企业服务：EC2 S3 SimpleDB SQS开源情况：开源3.1.2 Amazon Web Services（AWS）平台类型：PaaS IaaS SaaS虚拟化技术：Xen支持语言：多种语言运行环境：位于云端的Amazon平台 应用程序间的隔离：不同的应用运行在不同的虚拟机实现隔离开发限制：较少（支持所有操作系统、开源代码或商业软件）可扩展性：手动或通过编程自动增加所需要虚拟机数量计费方式：按实际使用量付费（EC2计算服务0.10.8美元/小时，S3存储服务每GB大约0.15美元/月） 收费机制较复杂 有免费体验（EC2 今年11月1日可以申请一年免费体验）服务类型：任意选择服务组合，服务耦合度低实现功能：较多3.1.3 弹性计算云EC2服务类型：IaaS虚拟机的使用：用户根据需要设置虚拟机的硬件配置模型：1个AMI+若干实例（每个用户最多20个实例）容错机制：弹性IP地址（与用户账号绑定） 当正在使用的实例出现故障，用户只需将弹性IP地址重新映射到一个新的实例 易用性：稍差（Amazon提供模块供用户组建自己的程序）运行环境：用户自行提供运行程序所需的AMI（Amazon机器映像）构建自己的服务器平台灵活性：很好 允许用户对运行的实例数量和类型自行配置 允许用户选择实例运行的地理位置安全性：很好 基于密钥对机制的SSH方式访问 可配置的防火墙机制 允许用户对其应用程序进行监控适用的应用程序：任意3.1.4 简单存储服务S3概述：架构在Dynamo之上，提供一个字节到数GB字节的支持，大概有520亿对象。结构：桶对象 两级模式扩展性：增加桶中的对象数量进行扩充 手动或编程自动扩容容错性：冗余存储 数据监听回传 Merkle哈希树存储限制：对象（5GB）桶（100个/用户） 不限制桶中对象的个数数据交互：用户从获得授权的对象中取得数据数据缓存：对Master中元数据进行缓存数据一致性：最终一致性模型 后一次操作直接覆盖前一次操作安全性：身份认证(基于HMAC-SHA1的数字签名) 访问控制列表负载均衡数据恢复3.1.5 数据库服务SimpleDB概述：非传统的关系模型系统结构：域条目属性值 四级模式查询语言：支持有限的SQL 数据类型：结构化数据可扩展性：超级可扩展性查询功能：查询结果只包含条目名称不包括相应的属性值 相应时间不能超过5秒，否则报错安全策略：每一个容器数据在微软数据中心有多个备份 数据更新时间：有延迟 新数据复制到其他服务器上存在延迟其他功能：很少 没有事务（Transaction）的概念 不支持Join操作 实际存储的数据类型过于单一（所有的数据都以字符串形式存储）备注：用户相对大的数据存储在S3中 SDB中只保存指向某个特定文件位置的指针3.2 Google云计算方案3.2.1 介绍建立在其搜索引擎技术的基础上，是一个没有“端”的系统：用户通过一个简单的搜索框完成对海量计算的搜索技术特性：存储及运算水平扩充能力核心技术：平行分散技术MapReduce，BigTable，GFS企业服务：Google App Engine开源情况：不开源3.2.2 Google App Engine平台类型：PaaS（用户在其上开发软件，在Google基础设施上运行，无需服务器维护）应用服务器：Python应用服务器群 低端服务器虚拟化技术：没有应用支持语言：只支持Python、Java运行环境：Google提供在云端的应用程序环境 功能完整的本地开发环境，开发人员可以在本地模拟Google App Engine环境应用程序间的隔离：通过沙盒实现（同时也给程序员带来很多限制）开发限制：较多 开发语言支持少 沙盒的使用带来的限制可扩展性：自动扩充所需资源并进行复杂均衡计费方式：每一个Google账户有一定额度的免费流量和空间支持 存在收费项目服务类型：所有服务捆绑在一起，耦合度高用户通过特定API来使用相应服务实现功能：较少3.2.3 计算服务MapReduce服务类型：PaaS虚拟机的使用：没有应用模型：1个Master+若干Worker（分别执行map和reduce）容错机制：Master周期设置检查点，任务失败，从最近的检查点恢复并重新执行 Master失效，整个MapReduce重新运行 Worker失效，其任务调度到其他Worker重新执行通用性：很好运行环境：Google自身提供，用户无法自行调配灵活性：稍差（现只是搜索企业的选择）适用的应用程序：可以并行处理的程序3.2.4 存储服务GFS（Google File System）概述：面向不可信服务器节点的分布式文件系统，文件分块存储结构：1个Master（储存元数据）+众多ChunkServer（储存文件块）服务器：大量分散的普通廉价服务器扩展性：动态插入节点（ChunkServer）（普通电脑），自动扩容容错性：ChunkServer冗余备份（3份） Master瘫痪，有Shadow作为替补访问效率：高效 通过GFS上层的BigTable实现存储限制：无特别限制数据交互：一般情况下，Application 和ChunkServer在同一台服务器上Application与ChunkServer进行数据交互 可以被多个用户同时访问数据缓存：对Master中元数据进行缓存数据一致性负载均衡数据恢复备注：不完全适应海量小文件存储3.2.5 数据库服务Data Store概述：分布式存储数据库，随着应用程序访问量的增加而增加系统结构：Model实体组实体 三级模式查询语言：GQL数据类型：结构化和半结构化数据可扩展性：无限扩展查询功能：查询结果以Model类的实例形式来返回实体 返回的结果不能超过1000条事务功能：通过乐观锁定实现事务的并发控制 一个事务操作一个实体组，同一组内的实体存储在一起（应用程序可以在实体创建时将实体分配到组）