云计算的关键技术与挑战 主要内容 云计算的关键技术云计算的技术挑战Google介绍 云计算的关键技术云计算的技术挑战Google介绍 云计算的关键技术 快速部署资源调度多租户海量数据处理大规模消息通信大规模分布式存储许可证管理和计费 云计算的关键技术快速部署 并行部署技术将传统的顺序部署方式改为并行执行 同时执行多个部署任务 将虚拟机同时部署到多个物理及上制约部署速度因素部署服务器的读写能力或部署系统的有限网络带宽协同部署技术将虚拟机镜像在多个目标物理机之间的网络中传输 提高部署速度制约部署速度因素目标物理机之间的网络带宽总和 云计算的关键技术资源调度 资源调度在特定的资源环境下 根据一定的资源使用规则 在不同的资源使用者之间进行资源调整的过程两种途径调整计算任务的资源使用量转移计算任务云计算的新挑战海量规模满足服务级别协定 云计算的关键技术多租户技术 多租户技术大量用户共享同一堆栈的软 硬件资源 每个用户按需使用资源 能够对软件服务进行客户化配置而不影响其他用户的使用采用多租户技术的SaaS应用特征SaaS应用基于Web的租户能够对SaaS平台本身进行扩展技术难点数据隔离 客户化配置 架构扩展 性能定制 云计算的关键技术海量数据处理 海量数据处理对大规模数据的计算和分析 通常数据的规模可达TB甚至PB级别典型例子搜索引擎并行计算模型River编程模型MapReduce编程模型 云计算的关键技术大规模消息通信 同步消息通信异步消息通信云计算中新的挑战足够稳定能够伸缩保证安全高效率 云计算的关键技术大规模分布式存储 大规模分布式存储技术分布式文件系统FranqupaniGoogle云存储服务AmazonSimpleStorageServiceGoogleBigTable 云计算的关键技术许可证管理与计费 IT基础设施的许可证管理与计费模式按需付费按使用计费大量提供商还未制定产品在云计算环境下的计费模式较成熟的是Amazon提供的EC2和S3的按量计费模式 云计算的关键技术云计算的技术挑战Google介绍 云计算的技术挑战 安全性可用性可伸缩性信息保密高性能标准化 云计算的技术挑战安全性 云计算特有的安全问题传统观念转变政策法规保障云中每个节点都可能受到攻击现有软件系统安全防护模式如何改变 云计算的技术挑战可用性 软件系统在一定时间内正常工作的时间占总时间的比重 通常用百分比衡量云计算环境能够在最大程度上减少资源的不可用对业务系统的影响通过技术创新 保证即使软 硬件出现问题服务仍然可用 云计算的技术挑战可伸缩性 通过资源的增加或减少来应对负载的变化 并保持一致的性能垂直伸缩在现有的服务节点上增加或减少资源水平伸缩在现有的服务节点上增加或减少服务节点 云计算的技术挑战信息保密 信息的内容不应该被未授权的人得到非法用户访问难度较大数据在云的大规模分布式存储机制中 完整的数据实体被打散存储在不同的服务器上 而每个数据块可包含不同的数据实体根本方法从逻辑上甚至物理上将多个用户的数据隔离 云计算的技术挑战高性能 云环境所承担的计算 存储和通信方面的负载大于传统的计算环境服务器虚拟化技术CPU开销较小内存性能开销较大 访问冲突 大规模数据处理技术MapReduce适用性问题原语设计导致的性能问题大量的网络消息通信问题分布式存储技术面对网络不可控的环境 云计算的技术挑战标准化 维护多个云之间的数据同步 应用版本同步 应用在多个云之间的互操作云计算的标准化工作还在酝酿之中开放式云宣言 OpenCloudManifesto 总结云计算的特点和现有挑战建立开放的云基础设施将是未来云计算领域的发展趋势对开放标准的呼吁 云计算的关键技术云计算的技术挑战Google介绍 Google文件系统 GFS 适用于大规模数据密集型应用程序的可扩展分布式文件系统多个部署GFS的集群已经建成目前最大的集群为 1000多个存储节点300 TB的存储容量可供不同机器上的上百用户同时读取 介绍 与之前的分布式文件系统一样 需要达到性能 可扩展性 可靠性等GFS的设计源于对Google应用程序的负载和技术环境的观察 介绍 观察1 控件的故障时常发生系统集成了实时监控 错误检测 容错性和自动恢复等功能超大文件 与普通文件相比 GB大小的文件很正常 介绍 观察2 大部分文件修改都是添加新的内容需要考虑优化性能和保证原子性协同设计应用程序和API有利于增加整个系统的灵活性 设计 集群包含一个master和多个chunkservers 并且可供多个用户读取 Master 维护文件系统的所有元数据命名空间 控制信息 桶 包括副本 位置等周期性地与chunkserver进行交流 发送HeartBeat消息来给出命令并检查状态帮助决定chunk的位置和副本确定当读取或写入文件 用户从Master获得chunk的位置 并直接与chunkserver通信Master并不是读写的瓶颈 chunkservers 文件分裂成chunks 每个chunk拥有一个不变的全局的独一无二的64位chunk句柄句柄在chunk创建的时候由master分配Chunk的大小为64MB默认每个chunk复制到三个服务器上 用户 应用程序使用文件系统API读写时与master和chunkserver进行通信与master交互获得元数据与chunkserver交互获得数据只缓存元数据信息数据太大不能放在缓存中 Chunk位置 Master并不保留关于chunk及其副本位置的永久记录启动时通过询问chunkserver获得通过HeartBeat消息并控制新chunk位置来更新信息 操作日志 记录所有关键元数据的修改存储在master上并复制到其它机器上规定并行操作的顺序所有副本完成修改后再反馈给用户用来恢复文件系统状态 系统交互 修改顺序 所有的chunk副本之间存在修改顺序Master选取一个副本称为原始副本原始副本选取之后连续的修改顺序副本对于master来说最小化了管理的开销 系统交互 修改顺序 记录添加的原子操作 用户指定写入的数据 GFS选择并返回写入的偏移量 并将数据一次追加到每个副本的后面Google分布式应用程序经常使用不需要分布式锁管理器GFS选择偏移量 不是用户 如何添加记录 与修改的过程类似原始副本告诉第二个副本偏移位置 与原始副本一样 追加数据如果某一副本在追加数据过程中发生故障 用户会重新尝试相同chunk的副本可能包含不同的数据包括相同记录全部或部分的副本GFS并不保证所有的副本的每位都相等只能保证写入的数据是一次完成的所有chunk副本必须写入相同偏移量的位置 副本位置 放置位置策略需考虑数据可靠性和网络带宽副本不仅放置在不同的机器上 也放置在不同的rack上写入操作影响到多个rack Chunk创建 由master创建和放置放置在低于平均磁盘使用率的chunkserver上在一个chunkserver上限制最近创建的数目 检测过期的数据 Master通过使用chunk版本号来区分现在和过期的数据获取数据时增加版本号当副本不再有效时 其版本不再增加当chunkserver报告chunk及其版本的时候Master检测过期的副本在垃圾收集的时候删除过期的副本 垃圾收集 当用户删除文件 master像其他操作一样写日志 并修改文件名设为隐藏文件Master在3天内扫描文件系统命名空间的时候删除隐藏文件元数据也会被擦除在HeartBeat消息里 chunkservers发送给master所拥有的chunk master发送给它没有元数据的文件 chunkserver之后在自己节点将文件删掉 容错性 高有效性 快速恢复Master和chunkserver可以在数秒内重新启动Chunk复制Server复制当原来的master发生故障后 影子 master提供只读服务Master上的所有副本都更改后才完成修改 容错性 数据完整性 Chunkserver使用校验和来检测错误数据副本的每个位并不全部相同 因此chunkserver维护自己的校验和每次读取 chunkserver在发送chunk的时候都会检验校验和写入数据后会更新校验和 小结 云计算产生 发展 推广过程中的新技术云计算的不足和面临的挑战GFS中的主要技术 谢谢 此课件下载可自行编辑修改 此课件供参考 部分内容来源于网络 如有侵权请与我联系删除 感谢你的观看