达梦数据库管理系统技术白皮书达梦数据库有限公司2013年4月目录1概述 12通用性 22.1硬件平台支持22.2 操作系统支持22.3 应用开发支持32.4标准接口支持32.5网络协议支持32.6字符集支持32.7国际化支持33高可用性43.1快速的自动故障恢复43.2 基于REDO日志的主备系统一一数据守护43.3 可靠的备份与恢复53.4 逻辑日志63.5 高级复制63.6 基于共享存储的集群技术64高性能 74.1 查询优化74.2 面向栈的虚拟机执行器74.3 批量数据处理84.4 查询计划重用84.5 查询结果的缓存94.6 多版本的并发控制94.7 改进的异步检查点94.8 DDL 高并发技术 104.9 可配置的工作线程模式104.10 查询内并行处理104.11 系统缓冲区改进114.12 分段式数据压缩115 高安全性115.1安全等级115.2 安全结构体系125.3 双因子结合的身份鉴别125.4 审计分析与实时侵害检测135.5 自主访问控制135.6 所有主客体的强制访问控制145.7 基于 SSL 协议的通讯加密145.8 存储加密145.9 资源限制155.10加密引擎155.11客体重用166易用性 166.1 丰富的管理工具166.2 PL/SQL调试工具176.3 快速数据迁移176.4 动态管理视图186.5 C 语法的 PL/SQL187兼容性 197.1 支持分析函数197.2 支持层次查询197.3 支持伪列197.4 支持方差集函数197.5 支持常用系统函数库197.6 支持控制语句结构197.7 数据类型兼容性207.8 复合数据类型兼容性207.9 支持外连接（+）语法 207.10 多列IN实现以及相关的优化207.11 支持按名调用存储过程207.12 支持 COMMENT 注释 207.13 支持静态数据字典视图207.14 支持系统包207.15 支持数组与引用游标218 技术指标221 概述达梦数据库有限公司是中国最早从事数据库管理系统研发、生产、销售和服务的专业公 司。达梦是国家规划布局内重点软件企业和双软认证企业，中国数据库标准委员会组长单位， 核高基重大专项课题牵头承担单位。公司主导产品：原始创新、独立研发、具有完全自主知识产权的达梦数据库管理系统、 达梦数据中心与商务智能套件及整体解决方案。达梦数据库产品已成功用于我国国防军事、电力、审计、电信、税务、财政、党委、安 监、公安、安全、信访、政法、计生、教育、水利、统计、物流、制造业、城市应急、卫生 医疗、农业等20 多个行业及领域，打破了国外数据库产品在我国一统天下的局面，取得了 良好的经济效益和社会效益。达梦数据库管理系统（简称DM7）是达梦数据库有限公司推出的具有完全自主知识产 权的大型通用关系型数据库管理系统。达梦数据库管理系统是达梦公司在总结DM系列产 品研发与应用经验的基础之上，吸收主流数据库产品的优点，采用类JAVA的虚拟机技术， 重新设计的新一代数据库产品。 DM7 采用全新的体系架构，在保证大型通用的基础上，针 对可靠性、高性能、海量数据处理和安全性做了大量的研发和改进工作，极大提升了达梦数 据库产品的性能、语言丰富性、可扩展性，能同时兼顾OLTP和OLAP请求，从根本上提升 了 DM产品的品质。达梦数据库的产品发展历程见图1。DM72011DM6DM5.62009.2007DM42004DM1-DM31984-2003-数据泵流水线的处理技术 查询计划重用一新增数据复制和外部链接-商品化程度的增强-企业级特性逐步增强行列混合存储 大规模并行计算MPP 基于向量数据的执行内核 基于共享的集群技术 多版本国家863数据库重大专项项目采用新的体系结构, 支持大规模数据存储管理 定制化开发.持续的技术积累. 引入物理操作符，虚拟机 实现了众多企业级高级特性 与其他数据库兼容性一 +实验室原型技术积累阶段实现各类标准1988年我国第一个自主版权数据库CRDS图 1 达梦数据库产品历程2 通用性2.1 硬件平台支持达梦数据库管理系统兼容多种硬件体系，可运行于 X86、SPARC、POWER 等硬件体系 之上。DM各种平台上的数据存储结构和消息通信结构完全一致，使得DM各种组件在不同 的硬件平台上具有一致的使用特性。2.2 操作系统支持达梦数据库管理系统产品实现了平台无关性，支持 Windows 系列、各版本 Linux（2.4 及2.4以上内核）、Unix、Kylin、AIX、Solaris等各种主流操作系统。达梦数据库的 服务器、接口程序和管理工具均可在32位/64 位版本操作系统上使用。2.3 应用开发支持 开发环境支持达梦数据库管理系统支持多种主流集成开发环境，包括 PowerBuilder、Delphi、 Visual studio 、.NET、 C+Builder、 Qt、Jbuilder、Eclipse、 Zend Studio 等； 开发框架技术支持支持各种开发框架技术，主要有 Spring、Struts、Hibernate、IBATIS sqlmap、 EntityFramework、ZendFramework 等； 中间件支持支持主流系统中间件，包括 Weblogic、Websphere、Tomcat、Jboss、东方通 TongWeb、金蝶 Apusic、中仓U InfoWeb 等。2.4 标准接口支持达梦数据库管理系统提供对SQL92的特性支持以及SQL99的核心级别支持；支持多种 数据库开发接口，包括 OLE DB、 ADO、 ODBC、 OCI、 JDBC、 Hibernate、 PHP、 PDO、 DB Express 以及.Net DataProvider 等。2.5 网络协议支持达梦数据库管理系统支持多种网络协议，包括IPV4协议、IPV6协议等。2.6 字符集支持达梦数据库管理系统完全支持Unicode、GBK18030等常用字符集。2.7 国际化支持达梦数据库管理系统提供了国际化支持，服务器和客户端工具均支持简体中文和英文来显示输出结果和错误信息。3 高可用性3.1 快速的自动故障恢复DM7 服务器始终只是一个进程，无论采用何种保护措施，总是不可能完全避免系统故 障的情况，如操作系统崩溃、机器掉电等。当外部故障消除后，DM服务器重新启动，需要 快速消除当机造成的破坏，恢复到故障前状态，重新为客户端提供数据服务。而帮助数据库 系统从故障中恢复，避免数据丢失和完整性破坏的工具，就是DM7的REDO日志系统。DM7改造了 REDO日志的管理策略。采用逻辑LSN值替代了原有的物理文件地址映射 到LSN生成机制，极大简化了 REDO日志的处理逻辑，从而也提高了日志自身的稳定性与 可靠性。REDO日志可以压缩存储，有效减少IO代价。在故障恢复时采用了并行处理机制执行REDO日志，有效减少重做花费的时间。3.2 基于REDO日志的主备系统一 据守护主备系统是 DM 数据库管理系统提高容灾能力的重要手段。系统由一台主机与一或多 台备机构成。主机提供正常的数据处理服务，备机则时刻保持与主机的数据同步。一旦主机 发生故障，备机中的一台立刻可以切换成为新的主机，继续提供服务。主备机的切换是通过 服务器、观察器与接口自动完成的，对客户端几乎完全透明。DM7的主备系统基于优化后的REDO日志系统开发，功能更加稳定可靠。主备机间传 递压缩的日志数据，通信效率大大提升。DM7 主备环境搭建非常简单。首先在主机生成完全备份，还原到备机上；然后连接主 备机器，主机就可以利用归档日志自动与备机同步数据，主备系统搭建就此完成。利用备份 文件与归档日志，主备环境的搭建不再需要繁琐的操作或冗长的时间等待。服务器新增了配置模式， DM7 服务器系统可以在不停机状态下在单机系统与主备系统 间平滑变换，其在特殊环境下的实用性不言而喻。借助改进的字典缓存机制， DM7 的主备系统可以提供全功能的数据库支持。客户端访 问主机系统没有任何的功能限制，而备机同样可以作为主机的只读镜像，支持客户端的只读 查询请求。vat.l 略阿塔连谡I夕虬扣；库图 2 DM7 数据守护系统框架图3.3 可靠的备份与恢复DM 数据库系统可以提供数据库或整个服务器的冷/热备份以及对应的还原功能，达到 数据库数据的保护和迁移。DM7 在原有数据库级备份/还原功能基础上，新增了表级物理备份功能。 表级备份操作将指定表的所有数据页保存在备份文件中，并在控制页中记录其关联信 息。还原时，从目标数据段中逐个分配新页，复制内容，并按照记录中关联信息重新构造还 原出原始数据。表级物理备份兼具了物理备份的快速性和逻辑备份的针对性，具有很强的实用性。表级 备份可以作为特定对象数据迁移与快速装载的解决方案。基于表级备份技术进行数据库的备 份还原，还可以达到数据库文件的重组与收缩目的。3.4 逻辑日志DM7数据库管理系统在物理的REDO日志之外，又添加了逻辑日志。逻辑日志记录数 据库表上的所有插入、删除、更新等数据变化。可以指定部分表记录逻辑日志，也可以设置 所有表记录。借助逻辑日志， DM7 系统可以提供操作分析、数据重演以及数据复制等高级 功能。3.5 高级复制DM7 数据库管理系统的复制功能基于逻辑日志实现。主机将逻辑日志发往从机，而从 机根据日志模拟事务与语句重复主机的数据操作。相对语句级的复制，逻辑日志可以更准确 地反映主机数据的时序变化，从而减少冲突，提高数据复制的一致性。DM7 提供基于事务的同步复制和异步复制功能。同步复制即所有复制节点的数据是同 步的，如果复制环境中的主表数据发生了变化，这种改变将以事务为单位同步传播和应用到 其他所有复制节点。异步复制是指在多个复制节点之间，主节点的数据更新需要经过一定的 时间周期之后才反映到从节点。如果复制环境中主节点要被复制的数据发生了更新操作，这 种改变将在不同的事务中被传播和应用到其他所有从节点。这些不同的事务间可以间隔几 秒、几分钟、几小时，也可以是几天之后。复制节点之间的数据在一段时间内是不同步的， 但传播最终将保证所有复制节点间的数据一致。DM的数据复制功能支持一到多、多到一、 级联复制、多主多从复制、环形复制、对称复制以及大数据对象复制。3.6 基于共享存储的集群技术DM数据库管理系统提供基于共享存储的高性能集群(REAL APPLICATION CLUSTERS)。达梦数据库共享集群，支持共享数据文件访问，多个数据库实例访问相同的数据文件， 内部采用缓存交换技术，实现实例间的数据访问与传递。共享集群不同实例之间使用内部通讯系统交互。集群架构中，对于每一个数据库实例，数据库文件和控制文件都是共享的；日志文件是 独立的，即每个实例拥有私有日志文件。支持故障转移机制。当某个实例发生故障时，系统将其屏蔽，其余实例将自动接管故障节点的连接负载，数据库服务不会中断。4 高性能4.1 查询优化DM7 数据库管理系统采用多趟扫描、代价估算的优化策略。系统基于数据字典信息、 数据分布统计值、执行语句涉及到的表、