DSG RealSync oracle容灾复制软件介绍,迪思杰（北京）数码技术有限公司,从几个案例说起,广西移动-BOSS查询系统 青海移动-NGBOSS灾备一体化 福建电信-查询系统 甘肃电信-CRM迁移 山东联通-CRM查询 长江证券-异地容灾 河北地税-集中式异地容灾,青海移动NGBOSS容灾备份总体结构图,OCS数据库,SAN,备份阵列,青海移动NGBOSS容灾备份总体结构图,数据一致性数据库,结算、统计数据库,容灾服务器,备份服务器,计费数据库,帐务数据库,CRM数据库,容灾阵列,STK L180,P4000,其他文件系统,VVFS验证服务器pc server,福建电信查询系统,在生产系统上只存放3个月数据，3个月到2年的数据存放到查询平台上去。 将计费数据库和统计数据库上的数据同步到一个独立的查询数据库中，通过该查询数据库实现24个月的计费话单数据保存、对外数据接口、以及对外查询业务。,福建电信查询系统,Bill数据库（计费数据库）： 两台IBM P595(14*2GHzcpu) ，Oracle RAC模式 数据库大小容量为：2233.69434； 每天产生的Log日志量大约为122GB。 Stat.数据库（统计数据库）： 两台IBM P595，Oracle RAC模式； 数据库大小计划容量为：1500GB； 每天产生的Log日志量计划为100GB左右。 性能参数 全同步性能：360GB/小时（46GB在440s全同步导出结束）； 实时同步性能：每天产生100GB的Archive Log情况下未出现日志分析和装载的延迟。 CPU和内存资源占用：DSG RealSync在实时同步过程中的CPU占用1%，内存占用大约在400M左右。,IBM P670,原CRM数据库,新CRM数据库,HP SD,Agent,Server,甘肃电信CRM系统迁移,山东联通CRM系统查询平台,一个,oracle database,，,分为,5,个,user,，,每个,user,对应一个生产数据库,RealSync Agent,RealSync Agent,RealSync Agent,RealSync Agent,RealSync Agent,RealSync Agent,60,多张表,约,100,GB,60,多张表,约,100,GB,60,多张表,约,100,GB,60,多张表,约,100,GB,60,多张表,约,100,GB,河北地税集中容灾系统,11个地市各自有自己独立的税务征管系统 省中心需要将分散的数据集中到一个系统上作统计分析和报表,省集中数据库,数据仓库,ETL,2Mbps带宽,Realsync数据集中,长江证券集中交易系统灾备一体化,ORACLE RAC,HP RX 4CPU,集中交易系统,本地查询/备份系统,上海灾备系统,2M带宽,DSG RealSync SnapAssure,Agent,Agent,HP RX 4CPU,目录,为什么需要realsync RealSync数据库复制产品介绍 重点问题分析和讨论,RealSync实现原理,ologx,Archived log,Redo Log,QUEUE,XEXP,sender,receiver,QUEUE,ROWID Mapping Table,loader,Transactions XF1 Format,OCI,Source DB,Target DB,realsync首次全同步技术的优势,采用直接路径方式导出和装载数据 realsync采用直接路径方式导出数据，并且采用直接路径方式装载数据。 而exp/imp则采用传统路径导出和装载数据，性能远远不如直接路径装载的方式。 多路并发导出和装载 DSG Realsync支持分配多个任务对多个表进行并发导出和装载，而EXP对多个表是串行导出的。 导出、传输和装载任务并行进行 exp/imp的工作模式是先exp，然后压缩，然后传输，然后再装载。因此时间就为所有时间之和。 而realsync是边导出，边传输，边装载。三个时间不是相加的，这样至少缩短总体时间1/2以上。 数据压缩传输 realsync对导出的数据进行压缩后在网上传输。 而exp需要对导出后的数据进行手工压缩后才能传输。,全同步任务可灵活调整； realsync在作全同步时可根据业务灵活调整，如根据业务规则分批进行全同步、而无需一定要在有 限的时间内完成整个库的全同步，而是把业务变化最频繁，容灾需求最紧急的数据优先同步； 全同步应该能够满足业务需求 对于800GB的数据量，根据工程性能指标参考，可在5-6个小时左右完成全同步。 操作简单 采用DSG RealSync自带的全同步工具，只需要一条命令就可完成全同步，而不需要过多的人为干预。 支持异构环境 realsync支持源系统和目标系统之间的OS系统、存储系统、数据库版本不相同；,realsync首次全同步技术的优势,应用特点(1),目标端的数据库处于OPEN状态 目标端数据库用来作报表、查询 满足“平战结合”的容灾 作容灾应用时，避免容灾数据库不能启动的风险 作容灾应用时，切换时间短，不需要重起数据库,应用特点（2）,单向1:1复制,可实现完全复制和选择性复制,N:1复制,可实现企业数据整合 统一报表 统一经营分析 数据统一稽核等,1:N复制,可实现企业数据分发 数据共享 企业应用集成 数据分布式查询等,灵活的复制结构,选择性抽取（3）,选择性复制 按用户复制 按表复制 按列复制,支持异构平台（4）,支持异构平台，硬件可自由选择 存储系统异构 服务器异构 操作系统异构 数据库的不同版本,各种复制技术的比较,RealSync 磁盘复制技术的比较,优势目标端数据可用于查询支持异构操作系统平台支持异构oracle平台支持表级复制节约带宽和网络资源劣势只支持异步复制 占用主机的CPU资源,优势支持所有数据类型复制 可支持同步方式复制 不占用主机CPU资源 劣势目标端数据不可用操作系统必需同构 oracle必需同构只能全库复制 带宽占用高距离一般应用在几十公里,RealSync,磁盘复制,RealSync vs oracle DG,目录,DSG公司介绍 RealSync数据库复制产品介绍 重点问题分析和讨论 参考案例,我们应该考虑哪些问题？,复制性能能否满足大数据量的压力？ 对生产系统的CPU资源占用？ 批量数据初始化同步如何解决？ 如何比较数据一致性以及修复方式？ 如何确保在有限带宽下的复制实时性？ 故障情况下如何保证系统的可靠性？,1.电信业的高并发压力？,日志分析速度的压力福建电信：100秒分析4GB日志(测试）广西移动：每天处理600GB日志（实际工程） 目标端数据装载压力福建电信：1100s装载7GB日志(测试）广西移动：每天处理600GB日志（实际工程）,2.对源端系统性能的影响？,广西移动3-8号9点多采集到的DSG进程资源占用 cpu占用之和：0.5%（共32cpu） 内存占用之和：3GB左右,装载性能和CPU资源占用,6个并发任务，占据12个cpu的33 每天200-300GB redo log,3.如何进行全同步？,现有数据如何初始化装载到查询系统上 已有历史数据如何初始化装载到查询系统上,全同步与exp/imp的差别,首次全同步的特点,不停业务 技术特点 用xexp直接读取block导出数据 用direct path装载 多任务并发、 压缩传输：压缩比4:1 性能高 广西移动：300GB：2小时 操作简单 只需要一条命令,4.如何进行一致性比较和修复？,一致性比较包括的内容？ Object属性比较 记录条数的比较 记录内容的比较（最困难和最耗费时间的内容） 传统的记录比较方法？ 采用select方式比较每条记录的每个字段是否相同？ 缺点：速度非常缓慢 DSG RealSync比较方法 采用快速EXP和CRC校验码算法进行比较 比较每一条记录及内容 可单独修复不同步的表,物理模式的一致性比较和修复,快速数据一致性检查 资源占用小：不干扰系统运行,Table,XEXP CRC,CheckSum1,Table,XEXP CRC,CheckSum2,？,6.故障情况下保证系统的可靠性,故障情况包括 网络中断 服务器宕机 数据库shutdown Realsync通过网络传输控制和装载控制保证数据不丢失,故障容错确认机制,3.102.xf1,102.xf1,分析进程,(1)写入文件,发送进程,(2)读取文件,接收进程,(4)写入数据文件,(3)发送文件,(5)写入控制文件,(6)反馈ok信息,(7)删除文件,RealSync技术特点总结,Transactional replication技术提高了复制的可靠性和稳定性； Direct path loading技术降低了对目标系统的性能要求; Intelligent mapping技术保障了复制的性能和数据完整性的高速校验； XF1 data format提供了开放的开发接口；,RealSync复制容灾的案例,电信行业： 北京移动、广西移动、甘肃移动、贵州移动、青海移动、广西电信、陕西电信、贵州电信、四川电信、安徽电信、海南电信、福建电信、甘肃电信、宁夏电信、广东电信、杭州电信、舟山电信、绍兴电信、湖州电信、辽宁网通、山东联通、江西联通、福建联通、广西联通、湖南联通、江苏联通、四川联通、广东联通、湖北联通、内蒙联通 金融行业： 广发银行、中国国际金融有限公司、上海期货交易所、中国金融期货交易所、华夏基金、易方达基金、招商基金、鲁证期货、东吴期货、国泰君安期货、中大期货、银河证券、民族证券、宏源证券、新时代证券、上海证券、远东证券、太平洋证券、东兴证券、万联证券、金元证券、信达证券、江南证券、华泰证券、南京证券、信泰证券、东吴证券、长江证券、国联证券、东海证券、西南证券、山西证券、金通证券、中原证券、财达证券、国海证券、西部证券、国盛证券、华福证券、恒泰证券、湘财证券、华鑫证券、财富证券 政府行业： 北京电力、青海电力、上海松江财政、武汉财政、青岛有线、辽宁省征稽局、吉林省交通厅、济南钢铁、深圳神州通集团、深圳交警、蛇口码头、河北省地税11地市征管数据集中容灾备份系统、江西省电力12地市营销数据集中容灾备份系统、南通社保、太仓社保、阿克苏社保,