Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会基于 Ceph 的云存储设计方国伟、王刚平安科技Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会背景Ceph 技术介绍平安云存储技术架构问题经验分享Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会背 景Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会背景 1- 平安云：金融云平台IAASIAASIAAS+IAAS+PAASPAAS技术能力 开放服务技术能力 开放服务业务能力 开放服务 (Open API)业务能力 开放服务 (Open API)各种应用和软件服务各种应用和软件服务计算、存储、网络 等服务数据库、中间件等 服务消息队列、通知、 大数据等服务公共 服务 （门户 ，计费 ，监控 ，部署 ，身份 认证 等）公共 服务 （门户 ，计费 ，监控 ，部署 ，身份 认证 等）廊坊上海深圳云数据中心Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会（ 1000 万 + ）下载上传（ 1000 万 + ）流量（ 100MB+/S ）增量（ 1TB+ ）单证图片文档业务量深圳数据中心DATADATADATADATANAS 卷 1000+PB 级数据容量上海数据中心DATADATADATADATANAS 卷 1000+PB 级数据容量容量容量每天业务量性能瓶颈性能瓶颈卷管理复杂性卷管理复杂性过保替换过保替换高昂的运维成本高昂的运维成本背景 2- 非结构化数据挑战Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会背景 3- 存储虚拟化的紧迫需求KVMKVMKVMKVMKVMKVMKVMKVM KVMKVMKVMKVMKVMKVMKVMKVM KVMKVMKVMKVMKVMKVMKVMKVM 计算虚拟化业务爆炸式增长集中试存储 成为瓶颈Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会背景 4- 为什么选择 Ceph为虚拟机提供 存储虚拟化为虚拟机提供 存储虚拟化静态非结构化 数据提供对象 存储服务静态非结构化 数据提供对象 存储服务软件定义存储软件定义存储X86 硬件X86 硬件 可伸缩性可伸缩性统一存储统一存储易于维护易于维护Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会Ceph 技术介绍Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会 支持三种接口 Object ：支持 S3 和 Swif Block ：快照、克隆 File ： Posix 接口，支 持快照 分布式存储系统 高扩展性： x86 服务 器， PB 级的扩展。 高可靠性：无单点故 障，多数据副本，自 动管理，自动修复。 高性能：数据分布均 衡，并行化度高。Ceph- 超融合存储架构Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会Ceph-RBD 架构MonitorsMonitorsOSDsOSDsRADOSLibradosLibradosKernel RBD （ 2.6.34+ ）Kernel RBD （ 2.6.34+ ）LIBRBDLIBRBDQEMUQEMULIBVIRTLIBVIRTOpenStackOpenStackCloudStackCloudStackFSFSAPPAPPTop 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会ClientClientRADOSRADOSApacheApache RGWRGWS3 API Swift APIFast CGILibradosLibradosCeph-RGW 架 构Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会平安云存储技术架构Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会机柜 1机柜 2机柜 3存储虚拟化（ RADOS ）KVMKVMKVMKVMKVMKVMKVMKVMKVMKVMKVMKVM计算虚拟化REST APIREST API对象存储网关服务REST APIREST APIREST APIREST APIREST APIREST API平安云存储技术架构Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会问题优化及经验分享Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会问题优化 1.1- 硬件需求适配X86 PCX86 PC磁盘密度高磁盘密度高热插拔热插拔低耗电低耗电Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会CPU内存硬盘2 HDD = 1 CORE1 TB HDD = 1 GB Mem1 SSD = 5 HDD问题优化 1.2- 硬件软件适配Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会租户租户BucketBucketObjectObjectBucket1Bucket1Bucket2Bucket2Bucket3Bucket3Bucket4Bucket4Bucket5Bucket5Bucket6Bucket6Bucket7Bucket7Bucket8Bucket8Bucket9Bucket9Bucket10Bucket10写瓶颈迁移瓶颈虚拟化问题优化 2-Bucket index 性能瓶颈Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会大量小文件 迁移内耗太 高当 OSD 数量 过多后 Messager 会负荷过重优化Cluster1Cluster2Cluster3路由服务应用服务异步获取 路由策略策略 1策略 2策略 3问题优化 3- 小文件 recover 带来巨大内耗Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会廊坊数据中心上海数据中心深圳数据中心支持 Bucket 维度多数据中心数据同步基于 RADOSGW-AGENT 二次开发问题优化 4- 多数据中心自动备份Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会深圳对象服务上海对象服务廊坊对象服务A AB BC CD DAABBEEDDA AF FE EG GGET A数据异常自动重定向GET A数据异常自动重定向GET A11223 3Bukcet 维度定义数据异 常是否需要重定向问题优化 5- 数据调阅异常策略重定向Top 100 Case Studies Of The Yearswww.top100summit.com全 球 软 件 案 例 研 究 峰 会经验分享好的团队至关重要，不仅要技术好，有担当更重要。好的团队至关重要，不仅要技术好，有担当更重要。1 1需要充分的模拟真实场景测试，不仅应用场景贴近真实，硬件服务 器也要贴近真实。需要充分的模拟真实场景测试，不仅应用场景贴近真实，硬件服务 器也要贴近真实。2 2开源存储虚拟化平台建设很难一蹴而就，它有如脱缰的野马，需要 花费较长时间的精力进行驯服和照料，需做好打持久战的准备。开源存储虚拟化平台建设很难一蹴而就，它有如脱缰的野马，需要 花费较长时间的精力进行驯服和照料，需做好打持久战的准备。3 3www.top100summit.comTop 100 Case Studies Of The Years全 球 软 件 案 例 研 究 峰 会