银行双活数据中心建设项目实践摘要：本文以某银行全业务系统同城双活中心建设项目为背景，根据监管政策要求，建立短期以及中长期的生产业务系统灾备建设目标，详细介绍了业务系统、中间件、基础架构、容灾架构、备份系统和关键存储选型、架构方案设计等方面的实践，希望能为同业灾备或双活数据中心建设带来一些借鉴和启发。1项目概述快速发展的业务需求和更加严格的行业监管要求促使银行的信息系统稳定性和业务连续性对基础设施的要求越来越高。为了响应银保监会的监管要求，同时结合自身业务发展的需要，我行启动了“同城灾备建设”项目，保障基础设施环境有效支撑业务的稳定运行、持续发展和业务连续性的监管要求。我行现有主数据中心机房空间、电力、空调等基础设施容量逐渐增大，但没有相应的灾备数据中心保证相应的业务连续性要求，已难于满足当前及未来业务发展的需要。为此，我行正在建设同城灾备中心建设。在灾备数据中心具备投产运行条件后，需尽快实施新数据中心的搭建及业务迁移，从而使数据中心的综合管理和生产运行能力上一个新台阶。我行现有两个数据中心，其中在用的有A数据中心，B数据中心正在建设中。 A数据中心A数据中心作为目前主生产中心作为全行信息中枢纽，承载行里所用信息系统的运行保障，在A数据中心进行数据中心运行、系统监控及运行管理。 B*数据中心*启动新数据中心建设项目，B数据中心将作为同城灾备中心，同城灾备范围覆盖当前重要业务系统并满足相应的RPO与RTO要求。未来A数据中心将作为全行生产中心运行全部信息系统，B数据中心承担部分业务或未来全部业务系统的双活运行。2建设目标本次灾备系统建设的关键目标是按照中国人民银行银行业信息系统灾难恢复管理规范（JR/T0044-2008）6级要求，通过部署双活灾备模式，实现业务级别的灾备；应用系统自动切换，采用同步复制技术，实现数据零丢失，从而实现RTO/RPO的近零目标，保障业务访问的连续性。3建设内容 云数据中心建设云数据中心建设是建设云平台的核心与关键，虚拟数据中心负责按需提供满足要求的运算处理资源、存储资源、网络资源等IT基础架构服务。 “AB站点双活+异地数据备份”灾备体系建设数据中心提供满足安全、高效管理和保障业务连续性的功能。通过“AB站点双活+异地数据备份”方案，实现不同灾难场景下的业务连续性要求。未来A数据中心将作为全行生产中心运行全部信息系统，B数据中心同样承载大部份业务系统的生产运行，A数据中心与B数据中心实现主要业务系统双活，通过小规模改造逐步实现全业务系统双活目的。本次方案的主要建设内容为“AB站点双活+异地数据备份”建设。4双活数据中心建设方案4.1建设模式分析出于灾备 （Disaster Recovery） 的目的 ， 一般都会建设 2 个 （ 或多个 ） 数据中心。主流的容灾模式包括主备模式和双活模式，主备模式又分为主备模式和互备模式，双活模式分为准双活和云双活模式。如下图所示：容灾模式图4.1.1主备模式建设分析 主备中心方案在主备中心模式中， 一个是主数据中心用于承担用户的业务，一个是备份数据中心用于备份主数据中心的数据、配置、业务等。两数据中心间的备份方式一般有主备（Active-Standby）热备、冷备、双活（Active-Active）备份方式。其中主备数据中心有两种模式： 主备模式两个数据中心1:1建设，一个数据中心作为业务的主处理中心，数据全部落到该数据中心，然后数据通过数据库和存储的同步和复制技术将数据备份到备中心，达到容灾的目的。但缺点是资源的利用率很低。 互备模式两个数据中心 1:1 建设，根据业务的需求及未来发展考虑，将不同的业务部署在不同是数据中心内，并且两中心承担各自业务的互备， 数据通过数据库和存储的同步和复制技术将数据备份到备中心，达到容灾的目的，这种容灾模式资源利用率较主备模式有一定优势，但整体资源利用率仍处于较低水平。4.1.2双活模式建设分析在双活中心模式中，两个数据 中心均承载用户的业务，通过全局负载均衡、存储复制等技术实现应用及数据的负载。其中双活数据中心有两种模式： 准双活模式双生产中心均需要完成数据更新的业务，主中心通过数据复制技术将数据复制到同城，通过全局负载均衡、业务模块或用户的方式将业务分配到不同的中心，平时主要的处理能力均分配给生产应用系统使用，出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用。同城灾备中心的主机平时处于“备份”状态，但主要的资源均动态分配给生产系统使用。没有完全闲置的设备。数据库数据只在单边写入，同城采用数据同步的方式。 双活模式业务或用户按照服务需求（OnDemand）将业务分配到不同的中心，平时主要的处理能力均分配给不同的中心。跨双生产中心建立共享的资源访问方式，并建立跨生产中心高可用集群。通过数据复制技术将数据镜像到对方，出现灾难时，根据需要接管的方式，按照当前的业务状态动态调度服务和资源（Business Resiliency)，所有的中心、主机和存储设备均处于生产状态和实现负载分担。在本次项目中，结合我行实际情况、灾备等级建设目标和银监会要求，决定采用双活模式建设“AB站点数据中心”。4.2数据复制技术分析为了实现双活模式的数据中心建设，数据复制技术的选择至关重要，只有选择合适的数据复制技术，才能实现双活数据中心的建设。目前业界主流的数据复制技术如下图所示：灾备复制技术对比图在灾备复制技术的选择上，各种数据复制技术都有其自身的优缺点，最适合双活数据中心建设的数据复制技术主要是 存储系统数据复制技术 。这其中又包括“基于存储设备的数据复制”和“ 存储虚拟化复制技术” 基于存储设备的数据复制” 适合新建项目。而 存储虚拟化复制技术” 同时会对存储虚拟化网络有一定要求，同时对存储系统的整体性能也有一定影响，主要技术优缺点对比如下：灾备复制技术对比表在本期项目建设中，根据现有A中心的存储设备使用情况、双活数据中心的数据实时复制和一致性要求，决定采用“基于存储设备的数据复制”。实现两个数据中心同设备存储间的数据复制，在实时性、可靠性和数据复制类型上可以兼顾并满足双活数据中心建设要求4.3总体架构设计为了实现对 “AB站点数据中心” 的双活架构设计，两个数据中心内的各个层次都需要具备双活的技术能力。如下图所示： A数据中心为 主 中心，B数据中心 作 为备中心。我们主要通过以下几个层面实现同城两中心的灾备系统： 应用层：1、无状态应用： 通过基于应用负载均衡及DNS实现应用负载部署，用户的访问流量可以分别访问同城两个数据中心的应用。2、有状态应用：通过虚拟化复制软件实现主备站点间虚拟机组及站点层面的切换。 每个数据中心通过应用配置实现应用集群，实现秒级的RPO与RTO。 数据库层：1、 数据库层本地做RAC实现本地高可用，同城两中心间数据库基于ADG进行复制；2 、 通过ADG/MHA实现生产中心与同城灾备中心间的主备复制，数据库主写在生产中心，同城灾备中心可 作 为数据库的查询及数据分析及测试开发等。 网络层：采用水平分层垂直分区的理念，部署按业务功能的分区，且分区结构满足“核心 -汇聚-接入”的二层架构，设置安全访问边界； 服务器层：1、采用服务器虚拟化架构，同城灾备系统分布式应用采用虚拟机独立部署，单体应用基于虚拟机复制软件进行虚拟机复制；2、 使用1：1比例在灾备中心搭建同样的虚拟化环境，部署相同的应用，每个站点通过集群方式实现应用高可用。 存储层：1、存储层主要负责双活数据中心的数据同步。本次主要使用基于华为存储双活模式，同城与异地间数据基于存储设备进行数据同步复制；2、 两中心的存储主要划分为：SAN存储，NAS存储。两中心之间的SAN存储 采用基于华为双活存储数据复制方案 。NAS在生产中心及同城灾备中心通过基于IP网络的 华为双活存储数据复制方案 实现两个站点间的NAS容灾。在双活数据中心的建设过程中，存储层的建设最为重要，因为它主要负责两个数据中心的数据复制同步，是双活数据中心建设的基础，只有在存储层实现了数据同步，才能实现双活数据中心的建设任务。4.4存储架构设计4.4.1双活存储设备选型存储双活方案作为全行业务的核心基础架构，其架构的选择决定了整个系统是否可靠高可用、安全可信赖、弹性可扩展。此次项目建设，采用基于专业的虚拟化存储设备来构建高可用、高性能、可扩展的存储双活方案。根据实际情况，本项目中华为存储部署在B数据中心，双活方案采用华为OceanStor 18000 系列 高端存储 产品，实现存储双活架构，为数据中心提供读写服务，且整个存储系统架构全冗余。存储层，在B数据中心选择了两台华为 OceanStor 18 000 系列高端 存储，配置 HyperMetro实现两台存储双活，为上层数据库及应用系统提供稳定、可靠的存储底座。同时， 选择两台华为OceanStor 5310 V5分别部署于AB两个数据中心，也配置 HyperMetro实现AB数据中心全业务系统的NAS双活（底层存储双活，对外提供NFS网络为主备）。两台华为OceanStor 18 000 系列高端 存储组成一个集群，为该数据中心主机业务同时提供读写服务。支持扩展至16控制器，高端支持32控制器。为了保证数据库及部分延时敏感型应用的IO需求，两台存储配置3.8T SSD，采用RAID6以实现高IOPS和可靠冗余的磁盘组管理。4.4.2SAN存储方案设计两台华为OceanStor 18 000 系列高端 存储在基于S AN 存储类型应用的双活方案设计上，采用华为存储HyperMetro双活技术方案。4.4.2.1方案对网络的要求采用 IP/FC链路实现同城双数据中心间的数据实时同步，为降低数据双写对业务系统的影响， 需要将同城链路的时延控制在 1ms以内。同城链路带宽需求，与需要在两数据中心间同步的数据量相关，要求链路带宽大于业务系统高峰期的数据写带宽。因我行是在同数据中心，故链路质量可以较容易保证。4.4.2.2应用系统对时延的要求双活数据中心的建设不仅是存储一个层面的双活部署，需要端到端地进行考虑。尤为重要的是，当前双数据中心的网络时延是否能满足应用系统对网络时延的要求 。以下罗列了双活数据中心解决方案的两种典型应用场景对时延的建议： Oracle应用时延建议 VMware应用时延 站点之间最大支持 VMware ESXi 管理网络的网络时延是往返 10ms RTT 。 V Motion 标准版和企业版要求 5ms RTT 。 V Motion 中 10ms RTT 的延时只有在具有 VMware vSphere Enterprise Plus 版本许可中才支持，这个版本许可包括 Metro V Motion 功能。 ESXi V Motion 的网络需要最少 622Mbps 的网络带宽，并且有冗余链路。 FusionSphere 应用时延 站点与站点时延l 生产站点与容灾站点间距离要在 100 公里以内，站点间需要租赁 L1 专线，两个站点间环回时延 1ms 。4.4.2.3方案对仲裁链路的要求为保证各种异常情况下，存储双活集群能够进行仲裁，业界存储双活方案都需要设计第三方仲裁站点，以保证多种异常情况下的业务连续性。两个双活数据中心与第三方仲裁站点间的链路选择 IP网络，可以增加方案的灵活性，有利于降低建设的整体成本。华为存储HyperMetro双活技术方案 提供了两种仲裁模式： 静态优先级模式 仲裁服务器模式仲裁服务器模式比静态优级