双活数据中心技术架构双活数据中心技术架构常见容灾模式主主备备模式模式冷冷备备切切换换A中心B中心A中心B中心双中心互双中心互备备模式模式复制复制切切换换1、故障下需要定位+决策+切换流程，超过0.5小时2、容灾侧资源闲置3、SRDF、PPRC等技术1、故障下需要定位+决策+切换流程，超过0.5小时2、劢态资源管理技术，容灾资源闲置3、SRDF、PPRC等技术双活并行模式双活并行模式并行并行处处理理A中心B中心两个中心平时均可承担业务，同时对外服务，坏掉任何一方丌影响。生生产产生生产产容灾容灾生生产产容灾容灾生生产产生生产产生生产产生生产产生生产产传统传统方案：方案：“主主备备”模式或模式或“互互备备”双中心模式双中心模式“双活并行双活并行处处理理”模式，做到准模式，做到准0切切换换双活应用架构接入层：借劣DNS、全局负载均衡等技术实现双活接入和智能路由，流量调配应用层：基亍开放分布式集群架构、或服务总线技术数据层：需要构建双中心同时可读写的机制，如远程RAC基础架构层：网络上对稳定性和带宽吞吐性能要求更高，甚至需要打通跨中心的大二层网络。存储方面，则需改变一主一备的读写机制，实现同时可读写。接入层改造智能路由，流量调配数据层连接自劢重连Ebus服务总线，分布式集群架构核心数据层应用层部署、接口数据库层技术改造存储层优化改造基础架构层数据层应用层双活零切换 DNS、全局负载均衡等如Oracleextendrac分布式内存库带宽、稳定性、大二层存储支持双活读写接入层数数据据层层存存储储层层接接入入/ /应应用用层层虚虚拟拟化化/ /云云平台平台技技术术关关键键点点数据层双活三种方式Active-Standby方式方式：基于Oracle ADG技术，采用从 主库向备库传输redo日志方式，备库恢复数据过程可 以用只读方式打开进行查询操作，实现了部分双活功 能，在主节点故障后可以将备节点切为Active-Active方式方式：通过Oracle Extend RAC实现多 个集群节点同时对外提供业务访问。该方式做到故障无缝切换，提升应用系统整体性能。数据数据逻辑逻辑复制复制软软件方式件方式：通过实时抽取在线日志中的数据变化信息，然后通过网络将变化信息投递到目标端， 最后在目标端还原数据，从而实现源和目标的数据同步。主数据主数据库库目目标库标库方式1、oracle ADG通过网络从生产向容灾传输归档或redo 日志，容灾端恢复方式同步数据。Oracle 11g 以后容灾库可打开为只读模式，容灾切换时能快速alter为读写状态。存储支持异构，OS需要同构应用场景：作为应急或容灾作为读写分离作为数据保护手段（结合flash DB）Network调度管理器Primary数据数据库库逻辑逻辑Standby（ADG） 数据数据库库（平（平时时只只读访问读访问）实时查询 报表SQL恢复转换Redo 成为SQL额外索引&物化视图物理Standby数据库（平时不能打开）备份Redo 恢复DIGITAL DATA STORAGEDIGITAL DATA STORAGE同步或异步Redo 传送ADG = Active Data Guard方式2、逻辑复制通过DSG、GoldenGate等逻辑复制技术 实现跨中心数据库的相互复制支持表级的复制两个数据中心各建一套数据库，物理独 立，同时能读写基于数据库日志准实时复制数据支持异构数据库、异构OS可以实现一对一、一对多、多对一、双 向复制等多种拓扑结构Dsg工作原理方式3、Oracle 远程RACOracle Extended RAC以跨中心共享存 储为基础，通过共享存储资源和OracleClusterware数据库集群管理，实现各个中心节点对数据库并行访问。共享存储可以采用存储自身数据复制技术，存储虚拟网关或远程卷管理等技术， 左图以Oracle ASM存储卷管理为例，实 现数据的双向实时复制。ASM支持对本地磁盘的优先读取，避免 跨数据中心的数据读取，提高I/O性能并 减少网络流量；要点（ASM）：两个数据中心分别部署一套存储，各提供一套LUN设备给全部数据库主机。存储的SAN网络和RAC心跳网络需使用低延迟、高带宽的DWDM光纤链路。配置ASM磁盘组。每个磁盘组配置两个失效组，每个失效组对应来自一套存储的LUN设备。在第三个站点部署用亍RAC的第3个投票盘，使用NFS的方式挂载到所有数据库主机。不管理普通的RAC系统类似，需要重重点加点加强强对对站点站点间间光光纤链纤链路情路情况况的的监监控与控与应应急急。内存库双活技术将数据常驻在内存中直接操作的数据 库。相对于磁盘，内存的数据读写速度要 高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高 应用的性能应用场景：用于实时计费、读写分离 场景，主要有Oracle Times Ten，Altibase商用以及华为、亚信和斯特 奇等自研产品。内存库集群部署主要有HA模式，双 活模式，线性拆分和分布式集群四种模式。HA模式双活模式线性拆分模式分布式集群模式数据层双活技术比较技技术术种种类类技技术术特征特征数据一致性数据一致性双活双活读读写写数据延数据延迟迟可可维护维护性性可靠性可靠性适用模式适用模式物理物理库库基于数据逻辑 复制软件DSG、gg、 shareplex等逻辑错误会导 致不一致，无 法稽核支持存在延迟（和日志量有关）较差，系统变 更需要人工介 入较好，支持多线 程，不影响生产 需定期重新同步数据一致性 要求较低或 基于表的同 步基于数据库自 身oracleactive dataguard一致（前提正 常同步）不支持存在延迟（和日志量有关）维护简单，支 持线性扩展较好，同步效率 高，快速切换读写分离场 景Oracle Extended RAC一致支持实时同步，没有 延迟较好较好核心系统对 稳定性较高内存内存库库HA模式基于日志实时或 异步同步存在不一 致风险不支持存在延迟较好一般适合物理库 较小双活模式基于日志实时或 异步同步存在不一 致风险支持存在延迟较好一般线性拆分基于日志实时或 异步同步存在不一、致 风险不支持存在延迟较差，复杂一般适合物理库 较大分布式集群基于日志实时或 异步同步一致支持存在延迟较好较好适合核心系 统建议：在实际使用中应根据具体情况选择合适的方案，理论上只有ExtendedRAC为真正的双读双写数数据据层层存存储储层层接接入入/ /应应用用层层虚虚拟拟化化/ /云云平台平台技技术术关关键键点点存储双活流派存储层作为双活系统核心基础架构平台， 其双活技术在整个架构中起到关键作用， 目前基于存储层双活方案主要有下面三种：基于远程卷管理软件的虚拟化，如：SymantecSF，IBM GPFS ， OracleASM等基于存储网关虚拟化，如：EMC vplex、IBM SVC基于存储自身卷镜像技术，HDS GAD 、Huawei等1.卷管理卷管理软软件虚件虚拟拟化化：通过安装在主机上卷管理软件的逻辑卷镜 像技术实现底层数据逻辑同步。2.2.存存储储网关网关虚虚拟拟化化：在每个站点 新增存储虚拟化网关设备组成 跨站点集群,并对存储卷进重新 行封装，对外提供主机I/O访问。3.3.存存储储卷卷镜镜像像技技术术：将两套磁盘阵列组成一个集群，两台存储上的LUN被虚拟化为一个虚拟卷，主机写操作通过卷虚拟化镜像技术同时写入两个数据中心的存储设备，保证站点之间数据实时同步。流派1、远程卷管理软件数据同数据同步步：底层数据复制采用远程 卷管理软件，如赛门铁克的storageFoundation（SF）、IBM的GPFS、Oracle的ASM等，通过逻辑卷镜像技术实现底层数据逻辑同步。上层应 用采用Oracle Extended RAC方案实 现远程多节点RAC,使生产和容灾节 点都处于在线状态，应用逻辑访问的 是同一个数据库。数据数据读读写写：支持双读写。数据一致数据一致性性：完全一致。流派1、远程卷管理软件案例： IBM GPFS+oracle 11g Extended RAC应用场景：一边承担生产，另一端 承载统计分析和查询实施要点：网络改造：需要打通两个中心间大二 层网络。底层存储链路改造：需要认到对端机 房存储，带宽要求高。提供可靠性较高的二层网络（心跳网络）提供可靠性较高的共享存储（投票盘）对底层链路和距离要求高：距离太远会导致响应变慢，官方建议50KM之内。流派2、存储网关虚拟化实现原理：将存储虚拟化技术(EMC 的vplex)和Oracle的远程RAC技术结 合，实现跨中心的数据双活访问。跨中心的两个存储通过网关设备虚拟成一个对外访问，内部实时同步， 保持数据的一致性，平时两边主机 分别访问本地存储，故障情况下可 跨中心访问对方存储。对于同一个数据块的读写冲突机制，是由OracleRAC来保证的。具备脑裂预防服务器“witness”：witness是VPLEX的仲裁装置；流派3、基于存储自身卷镜像不需要额外软硬件，需要采用特定 高端存储设备，如VSP、XP7以上 才可以。存储网络架构没有改变，易于实行。两边存储可以同时读写。上层需要结合Oracle远程RAC实现 双活存储层双活技术对比技技术术特征特征技技术术特征特征数据一致性数据一致性双活双活读读写写可靠性可靠性异构性异构性投投资资成本成本优优缺点缺点基亍远程卷管理（软件虚拟化）SymantecSFAIXLVMIBMGPFSOracleASMRPO=0支持较差支持异构成本较低基亍存储网关虚拟化EMCVplexIBMSVC华为VIS飞康NSSRPO=0支持较差支持异构较高组网复杂，可靠性差，数据同步性能差基于存基于存储储卷卷镜镜像像（存（存储储自身虚自身虚拟拟化化HDSGADHuaweiOceanStorV3RPO=0支持支持较较好好RTO=0不支持不支持较较低低组组网网简简单单，维维护护方方便便，但但技技术术较较新新，实实用用经验经验少少基亍存储HA机制IBMpowerHAHyperSwap、日立的HAMRPO=0支持较差丌支持投资较高采用高端存储虚拟化软件，有一端远程读写效率低整体看红色为最优方案，但要根据实际情况选择，上述方案均需要Extend RAC支持。数数据据层层存存储储层层接接入入/ /应应用用层层虚虚拟拟化化/ /云云平台平台技技术术关关键键点点应用层双活要点双活需要从接入、应用层、数据连 接等层面考虑实现，才能实现“零” 切换。应用支持：建议构建统一管理的接口层或采用服务总线技术实现应用自动重连机制，确保自动 切换，减少人工切换。-支持数据 库切换后应用的正常运行双中心部署相同的应用集群方式，或跨中心的集群接入层技术采用全局负载均衡（如F5的GTM）、DNS、或前置CDN等技术实现跨中 心灵活接入。1、业务多中心并行模式：通过一组GSLB来对外提供服务，GSLB监控 服务的状态，并通知组内其他设备， 对于每一个DNS请求返回最佳结果， 好的策略选择和配置方式可以最大 幅度提高客户体验。2、业务多中心互备模式：对于内网 业务通过一组SLB来提供服务，实 现DNS解析，负载分发和故障切换。应应用双用双活活：当单数据中心出现故障时，可以将请求引导向另一 个可用的数据中心，实现双活高可用。智能流量控制：智能流量控制：GSLB根据后端服务器负载和链路状况实现不同站点间流量调配，链路优选，保证用户访问最佳性能服务器，确保访问质量，提升用户感知。数数据据层层存存储储层层接接入入/ /应应用用层层虚虚拟拟化化/ /云云平台平台技技术术关关键键点点云架构下的双活云化后的变化：虚拟化技术应用实现集群化和x86化带来问题：难以沿用原有的双 活设计方式，需要新考虑考虑集群化的业务连续性双活方案。云化双活分云化双活分类类方案描述方案描述场场景景举举例例传统基亍负载均衡的双活架构每个中心部署独立的于化应用集群，通过接入层负载均衡实现双活Web集群等基亍分布式应用协调机制构建一套跨中心应用集群，通过分布式应用协调如zookeeper实现跨中心的高可靠性集群，统一配置、统一管理和任务分配。EBUS跨中心双活应用集群、分布式缓存等hadoop、mpp等的双活机制1、应用写两份方式实现双活2、跨中心集群方式大数据虚拟化平台的跨中心双活（迁移）1、跨中心虚拟机集群，可平滑迁移2、每个中心一套集群，通过接入层构建负载均衡实现双活于资源池模式1、相互独立的双集群在每个中心部署独立的云化应 用集群1、如Web类应用可通过接入层和负载均衡实现双活访问，2、如hadoop或MPP集群应用可 通过上层应用实现双集群数据 同步，从而实现双活。APP1APPnAPP1APPn接入层负载均衡器接入层负载均衡器APP2数据中心1APP2数据中心2Node1NodenNode1Node2Noden应用Node2数据中心1集群数据中心2集群前端同时向两个集群写模式2、跨中心单集群模式第一种是基于分布式应用协调机制：构 建一套跨中心应用集群，通过分布式应 用协调如Zookeeper实现跨中心的高可靠 性集群，实现统一配置、统一管理和任 务分配。第二种是基于数据副本保护机制：如详 单云和大数据的hadoop集群、大数据的 MPP集群等，通过进行合理规划设计， 确保任一中心节点都是完整的数据副本， 由集群自动维护两个中心的数据副本同 步机制来实现双活。客户 端任务分配器MASTER 1业务处理服务 器 1业务处理服务 器 2业务处理服务 器n发送业务处理请求负载均衡健康检查返回可处理请求的节点业 务 数 据 交互任务分配器SLAVE n任务分配器SLAVEZookeeper集群应用服务器集群数据数据机房1机房2应用1、通过设计集群副本，实现两个中心节点互为副本2、前端应用向单一跨数据中心集群写Node1Node2数据中心1节点NodenNode1Node2数据中心2节点Noden虚拟化云平台双活基于存储阵列双活和VMware 跨站点集群功能 实现虚拟化平台数据中心容灾解决方案，在阵 列双活技术支撑下，通过VMware Cluster 的HA 高可用功能实现故障业务切换保护，从而达到 保证业务连续性的要求。网络站点间二层互联，采用波分传输，存储实现双 活为上层提供共享存储；将两个数据中心服务器配置为一个集群，通过HA和DRS实现高可用和资源动态智能分配；服务器之间建议通过万兆以太网提供心跳服务与 vMotion迁移流量，集群内的所有服务器需符合集群 的兼容性规则。应用层：由四台服务器构建VMware ESXi Cluster。数数据据层层存存储储层层接接入入/ /应应用用层层虚虚拟拟化化/ /云云平台平台技技术术关关键键点点1、跨中心大二层网络方案1： EVN/OTV/EVI 技术以EVN为例，每个中心部署互联汇聚 交换机，网关交换机通过链路聚合接入该 互联汇聚交换机，互联汇聚交换机通过链 路聚合接入波分设备，互联汇聚交换机运 行EVN PE，EVN PE间形成EVN二层通道。 数据中心间三层互通，二层域完全隔离ARP广播、未知单播限制在本数据中心。Mac IN IP1、跨中心大二层网络方案2：采用二层光纤直连技术打通。每个中心部署互联汇聚交换机， 中心内的汇聚（网关）交换机通过 链路聚合接入该互联汇聚交换机， 互联汇聚交换机通过链路聚合接入 波分设备，链路聚合保证整网无二 层环路。同时在汇聚互联交换机配 置二层风暴抑制1、跨中心大二层网络方案3：采用基亍MPLS网络的VPLS亏联。每个中心的核心交换机与专用 的MPLS域专用网络直连，通过MPLS专属网络的本地PE设备与对端中心的机房PE设备之间建立VPN， 将各个PE设备所互连的二层网络通 过MPLS VPN方式建立二层互通。1、跨中心大二层网络方案4：基亍Overlay网络的大二层亏联。以Vxlan实现方式为例，每个中心通过单独 的ED设备与Underlay网络连接，在每个中心内 部业务数据通过VXLAN进行业务交换，涉及到 跨中心业务互访时，将通过与ED设备直连的Leaf设备剥离VXLAN标签转换为VLAN业务后， 由ED设备再次进行VXLAN封装，从而通过大二 层透传到对端中心的ED设备剥离VXLAN标签， 由对端中心的Leaf设备重新封装VXLAN标签。1、跨中心大二层网络技技术术种种类类组组网方式网方式优势优势劣劣势势适用模式适用模式基于MPLS网络的二层互联VPLS1、标准化程度高，兼容性强，能 够兼容大部分的MPLS网络2、CE实现双归属，HA性能高， 保证数据中心间互联的高可靠性3、价格优势技术比较复杂，部署及运维管理难度较大适用于跨地域多中心互联光纤直连VPLS Over GRE与基于MPLS网络的VPLS优势相 同1、技术比较复杂，部署及运维管 理 难 度 较 大 2 、需要部署QoS来保证带宽，时 延难以保证数据中心间只有IP互 联网络时大二层互连OTV/EVN/EVN1、网络改动较小2、配置简单1、各厂商私有协议，在涉及多品 牌网络环境中难以实现对接适用于多地域的中 心互连基于Overlay网 络的二层互联VXLAN1、支持Overlay网络，可以跨裸光 纤、MPLS或IP网络实现二层互联2、配置简单3、提高系统的HA性能1、各厂商的私有协议，需要数据 中心间采用同品牌设备2、案例较少适用于跨地域多中 心互联2、 关于GoldenGateOracle GoldenGate 性能瓶颈在数据同步环节，即在复制进程Replicat入库速 度，因为在容灾端恢复数据过程是执行逻辑SQL，比较消耗资源：抽取抽取进进程程（Extract）：该进程主要瓶颈在亍LCR(logicalchangerecord)转换为UDF环节，主要优化建议：拆分Extract进程，建议同一个schema下表尽量在一个进程组中优化进程参数如eofdelay、flushsecs等I/O部分建议增加日志读取间隔3s，增加内存刷新时间3s投投递进递进程（程（Pump）：）：带宽优化和IO优化：复制的表最好有主键或唯一索引，减少生产日志量数据传输过程启用数据压缩特性，减少带宽需求量适当增大TCP缓存增加队列读取间隔为3s，内存刷新时间为5s复制复制/应应用用进进程程（Replicat）：）：该环节出现性能问题较多，需要重点优化：合并小交易减少事物数量，减少写checkpointfile/table次数大交易拆分（maxtransops参数），提高写入速度基亍表或Range等拆分replicat进程OGG同步不同日志量同步不同日志量 延延迟迟情况分析情况分析160140120100 80604020016G 20G30G40G50G延迟情况（分种)3、 关于ADG日志日志产产生量生量（采集于2015年4月初）日均日均产产生生归归档档量量 1,300 GB,其中其中节节点点600 GB,2节节点点 700 GB1天日志的峰天日志的峰值为值为 1705 GB,节节点峰点峰值值 811 GB,2节节点峰点峰值值 911 GB单单个小个小时时日志峰日志峰值值为为 183 GB,1节节点峰点峰 值值 90 GB,2节节点峰点峰值值 96 GB网网络络流量流量采用千兆网，采用千兆网，传输传输日志平均占日志平均占用用带宽带宽 为为 16.24 MB/s，单单个小个小时时内峰内峰值为值为52 MB/s应应用用时时延延（Transport Lag + Apply Lag）异异步步方方式式传传送送日日志志，平平均均延延时时 0.65 秒秒，正正常常业业务务处处理理期期间间时时延延小小于于10 秒秒生产库中产生大量I/O的维护操作，比如添 加数据文件，会导致目标库应用时延相应 增加，可通过调整维护作业时间窗口加以 避免。服服务务器器型号型号CPU内存内存Primary ServerIBM P780 240 2280G 2Standby ServerIBM P780 124120G数据库数据总量：11,545 GB数据库存储总量：14,142 GBADG方式：Maximum PerformanceADG日志同步延日志同步延时时分析分析100 0183G200G300G400G延时情况（分钟)3、 Extend RAC关键参数参数名称参数名称建建议值议值说说明明GPFSCluster 关键参数GPFS集群性 能参数mmchconfig pagepool204Mmmchconfig prefetchThreads128mmchconfig maxMBpS8192mmchconfig worker1Threads475心跳参数mmchconfig minquorumnodes2leaseRecoveryWait15Default 35sTotalPingTimeout20sDefault 120s网络故障系 统恢复关键 参数mmchconfig failureDetectionTime20mmchconfig leaseRecoveryWait15mmchconfig totalPingTimeout20mmchconfig leaseDuration15I/O性能mmchconfig readReplicaPolicylocal本地优先读Oracle RAC 和ASM参数RAC仲裁站点距离10km ，网络传输用DWDMDisk timeout （Disk Heartbeat IOT）250s250s默认120sMisscount（Network Heartbeat）200s200s默认 30sASM参数asm_preferred_read_failure_groupdg1.fg1,dg2.fg2. . ASM本地优先读_asm_hbeatiowait120sASM磁盘心跳超时 时间注意：关于RAC仲裁和GPFS仲裁， 保证RAC的磁盘仲裁要晚 于GPFS的仲裁，使得在网 络故障情况下GPFS提前RAC做出判定。ORACLE RAC的心跳参数：misscount是RAC网络心跳 时间， disktimeout是表决 盘的心跳时间4、 防止“脑裂”现象1、由于数据中心间距离远，网络稳定性相 比同机房差，必须需要额外进行冗余设计， 如网络连接、内部网络、san连接等。2个数据中心间网络不稳定情况下，无论存储虚拟 化技术还是Oracle的RAC均可能出现“脑裂” 现象，造成访问中断，数据不一致现象发生，需要仔细设计，如采用互联环状全冗余架构 等、完善的仲裁机制等。2、对跨中心间的网络带宽、存储访问带宽利用率不能超过30%。3、双活由多层软硬件组成，如数据库RAC、远程文件系统、存储等，需要仔细规划他们 之间的心跳参数，确保越低层的心跳超时时 间越高。两个中心间网络全断下会出现“脑裂”现 象通过增加第三节点，防止两个中心间网络 全断场景5、 全面的计划内外测试场景双活涉及到跨中心 网络层，数据层和存 储层，故障场景相比 较传统架构更多，更 复杂，相互之间存在 多种依赖关系，需要 充分设计故障测试场 景：一个双活数据中心架构例子CMNETIP承载网GSLBGSLBIP承载网GSLBCMNETGSLBSpineSpineRRRRSLBSLBVXLANNetworkLeafLeafLeafFW FW管理TOR管理TOR管理交换 机管理区管理区SDN控制 器BOMC4ASpineSpineRRRRSLBSLBVXLANNetworkLeafLeafLeafFW FW管理TOR管理TORPCPC管理交换 机管理交换 机管理区管理区SDN控制 器BOMC4A存储接入区 域管理交换 机PCPCDWDM(用于用于FC)数据存数据存储层储层：双活互：双活互联联存储互连专线网网络层络层：大二：大二层层SDN/EVPN隧道隧道分布式网关机房1机房2接入接入层层：全局：全局负载负载均衡均衡应应用用层层：提供虚机：提供虚机层层面面 跨中心迁移功能跨中心迁移功能vSwitch VM VM VM宿主机vSwitch VM VM VM宿主机vSwitch VM VM VM宿主机vSwitch VM VM VM宿主机vSwitch VM VM VM宿主机vSwitch VM VM VM宿主机THANK YOU结束结束