1服务器三大体系服务器三大体系 SMP、NUMA、MPP 介绍介绍大中小发表时间：2010-5-17 11:58:25 来源：网界网 作者：佚名 点击数：57 评论数：0 【查看评论】摘要：从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构、非一致存储访问结构以及海量并行处理结构。本文关键字： 服务器 SMP NUMA MPP 从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构(SMP：Symmetric Multi-Processor)，非一致存储访问结构(NUMA：Non-Uniform Memory Access)，以及海量并行处理结构(MPP：Massive Parallel Processing)。它们的特征分别描述如下：SMP(Symmetric Multi-Processor)所谓对称多处理器结构，是指服务器中多个 CPU 对称工作，无主次或从属关系。各CPU 共享相同的物理内存，每个 CPU 访问内存中的任何地址所需时间是相同的，因此SMP 也被称为一致存储器访问结构(UMA：Uniform Memory Access)。对 SMP 服务器进行扩展的方式包括增加内存、使用更快的 CPU、增加 CPU、扩充 I/O(槽口数与总线数)以及添加更多的外部设备(通常是磁盘存储)。SMP 服务器的主要特征是共享，系统中所有资源(CPU、内存、I/O 等)都是共享的。也正是由于这种特征，导致了 SMP 服务器的主要问题，那就是它的扩展能力非常有限。对于SMP 服务器而言，每一个共享的环节都可能造成 SMP 服务器扩展时的瓶颈，而最受限制的则是内存。由于每个 CPU 必须通过相同的内存总线访问相同的内存资源，因此随着CPU 数量的增加，内存访问冲突将迅速增加，最终会造成 CPU 资源的浪费，使 CPU 性能的有效性大大降低。实验证明，SMP 服务器 CPU 利用率最好的情况是 2 至 4 个 CPU。2NUMA(Non-Uniform Memory Access)由于 SMP 在扩展能力上的限制，人们开始探究如何进行有效地扩展从而构建大型系统的技术，NUMA 就是这种努力下的结果之一。利用 NUMA 技术，可以把几十个 CPU(甚至上百个 CPU)组合在一个服务器内。其 CPU 模块结构如图 2 所示：图 2.NUMA 服务器 CPU 模块结构NUMA 服务器的基本特征是具有多个 CPU 模块，每个 CPU 模块由多个 CPU(如 4 个)组成，并且具有独立的本地内存、I/O 槽口等。由于其节点之间可以通过互联模块(如称为Crossbar Switch)进行连接和信息交互，因此每个 CPU 可以访问整个系统的内存(这是NUMA 系统与 MPP 系统的重要差别)。显然，访问本地内存的速度将远远高于访问远地内3存(系统内其它节点的内存)的速度，这也是非一致存储访问 NUMA 的由来。由于这个特点，为了更好地发挥系统性能，开发应用程序时需要尽量减少不同 CPU 模块之间的信息交互。利用 NUMA 技术，可以较好地解决原来 SMP 系统的扩展问题，在一个物理服务器内可以支持上百个 CPU。比较典型的 NUMA 服务器的例子包括 HP 的Superdome、SUN15K、IBMp690 等。但 NUMA 技术同样有一定缺陷，由于访问远地内存的延时远远超过本地内存，因此当 CPU 数量增加时，系统性能无法线性增加。如 HP 公司发布 Superdome 服务器时，曾公布了它与 HP 其它 UNIX 服务器的相对性能值，结果发现，64 路 CPU 的 Superdome (NUMA 结构)的相对性能值是 20，而 8 路 N4000(共享的 SMP 结构)的相对性能值是 6.3。从这个结果可以看到，8 倍数量的 CPU 换来的只是 3 倍性能的提升。图 3.MPP 服务器架构图4MPP(Massive Parallel Processing)和 NUMA 不同，MPP 提供了另外一种进行系统扩展的方式，它由多个 SMP 服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个 SMP 服务器(每个 SMP 服务器称节点)通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享(Share Nothing)结构，因而扩展能力最好，理论上其扩展无限制，目前的技术可实现 512 个节点互联，数千个 CPU。目前业界对节点互联网络暂无标准，如 NCR 的 Bynet，IBM 的SPSwitch，它们都采用了不同的内部实现机制。但节点互联网仅供 MPP 服务器内部使用，对用户而言是透明的。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等。但和 NUMA不同的是，它不存在异地内存访问的问题。换言之，每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配(Data Redistribution)。但是 MPP 服务器需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于 MPP 技术的服务器往往通过系统级软件(如数据库)来屏蔽这种复杂性。举例来说，NCR 的 Teradata 就是基于 MPP 技术的一个关系数据库软件，基于此数据库来开发应用时，不管后台服务器由多少个节点组成，开发人员所面对的都是同一个数据库系统，而不需要考虑如何调度其中某几个节点的负载。NUMA 与与 MPP 的区别的区别从架构来看，NUMA 与 MPP 具有许多相似之处：它们都由多个节点组成，每个节点都具有自己的 CPU、内存、I/O，节点之间都可以通过节点互联机制进行信息交互。那么它5们的区别在哪里？通过分析下面 NUMA 和 MPP 服务器的内部架构和工作原理不难发现其差异所在。首先是节点互联机制不同，NUMA 的节点互联机制是在同一个物理服务器内部实现的，当某个 CPU 需要进行远地内存访问时，它必须等待，这也是 NUMA 服务器无法实现 CPU增加时性能线性扩展的主要原因。而 MPP 的节点互联机制是在不同的 SMP 服务器外部通过 I/O 实现的，每个节点只访问本地内存和存储，节点之间的信息交互与节点本身的处理是并行进行的。因此 MPP 在增加节点时性能基本上可以实现线性扩展。其次是内存访问机制不同。在 NUMA 服务器内部，任何一个 CPU 可以访问整个系统的内存，但远地访问的性能远远低于本地内存访问，因此在开发应用程序时应该尽量避免远地内存访问。在 MPP 服务器中，每个节点只访问本地内存，不存在远地内存访问的问题。数据仓库的选择数据仓库的选择哪种服务器更加适应数据仓库环境？这需要从数据仓库环境本身的负载特征入手。众所周知，典型的数据仓库环境具有大量复杂的数据处理和综合分析，要求系统具有很高的I/O 处理能力，并且存储系统需要提供足够的 I/O 带宽与之匹配。而一个典型的 OLTP 系统则以联机事务处理为主，每个交易所涉及的数据不多，要求系统具有很高的事务处理能力，能够在单位时间里处理尽量多的交易。显然这两种应用环境的负载特征完全不同。从 NUMA 架构来看，它可以在一个物理服务器内集成许多 CPU，使系统具有较高的事务处理能力，由于远地内存访问时延远长于本地内存访问，因此需要尽量减少不同 CPU模块之间的数据交互。显然，NUMA 架构更适用于 OLTP 事务处理环境，当用于数据仓库环境时，由于大量复杂的数据处理必然导致大量的数据交互，将使 CPU 的利用率大大降低。6相对而言，MPP 服务器架构的并行处理能力更优越，更适合于复杂的数据综合分析与处理环境。当然，它需要借助于支持 MPP 技术的关系数据库系统来屏蔽节点之间负载平衡与调度的复杂性。另外，这种并行处理能力也与节点互联网络有很大的关系。显然，适应于数据仓库环境的 MPP 服务器，其节点互联网络的 I/O 性能应该非常突出，才能充分发挥整个系统的性能。SMP 系统与系统与 MPP 系统比较系统比较SMP (Symmetric Multi Processing),对称多处理系统内有许多紧耦合多处理器， 在这样的系统中，所有的 CPU 共享全部资源，如总线，内存和 I/O 系统等，操 作系统或管理数据库的复本只有一个，这种系统有一个最大的特点就是共享所 有资源。 MPP (Massively Parallel Processing)，大规模并行处理系统，这样的系统是 由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理 器。每个单元内的 CPU 都有自己私有的资源，如总线，内存，硬盘等。在每个 单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共 享资源。7既然有两种结构，那它们各有什么特点呢？采用什么结构比较合适呢？通常情 况下，MPP 系统因为要在不同处理单元之间传送信息（请注意上图），所以它 的效率要比 SMP 要差一点，但是这也不是绝对的，因为 MPP 系统不共享资源， 因此对它而言，资源比 SMP 要多，当需要处理的事务达到一定规模时，MPP 的 效率要比 SMP 好。这就是看通信时间占用计算时间的比例而定，如果通信时间 比较多，那 MPP 系统就不占优势了，相反，如果通信时间比较少，那 MPP 系统 可以充分发挥资源的优势，达到高效率。当前使用的 OTLP 程序中，用户访问一 个中心数据库，如果采用 SMP 系统结构，它的效率要比采用 MPP 结构要快得多。 而 MPP 系统在决策支持和数据挖掘方面显示了优势，可以这样说，如果操作相 互之间没有什么关系，处理单元之间需要进行的通信比较少，那采用 MPP 系统 就要好，相反就不合适了。通过上面两个图我们可以看到，对于 SMP 来说，制约它速度的一个关键因素就 是那个共享的总线，因此对于 DSS 程序来说，只能选择 MPP，而不能选择 SMP， 当大型程序的处理要求大于共享总线时，总线就没有能力进行处理了，这时 SMP 系统就不行了。当然了，两个结构互有优缺点，如果能够将两种结合起来 取长补短，当然最好了。 什么是大型机，小型机。什么是大型机，小型机。(Mainframe) 8大型机（mainframe）这个词，最初是指装在非常大的带框铁盒子里的大型计算机系统，以用来同小一些的迷你机和微型机有所区别。虽然这个词已经通过不同方式被使用了很多年，大多数时候它却是指system/360 开始的一系列的 IBM 计算机。这个词也可以用来指由其他厂商，如 Amdahl, Hitachi Data Systems (HDS) 制造的兼容的系统。 有些人用这个词来指 IBM 的 AS/400 或者 iSeries 系统，这种用法是不恰当的；因为即使 IBM 自己也只把这些系列的机器看作中等型号的服务器，而不是大型机。 什么是 I/O 通道(Channel) 一条大型机通道（channel）某种程度上类似于 PCI 总线（bus），它能将一个或多个控制器连接起来，而这些控制器又控制着一个或更多的设备（磁盘驱动器、终端、LAN 端口，等等。）大型机通道和PCI 总线之间的一个主要区别是大型机通道通过几对大的 bus and tag 电缆（并行通道方式），或者通过最近常使用的 ESCON（Enterprise System Connection）光导纤维电缆（串行通道方式）以及光纤通道来连接控制器。这些通道在早期是一些外置的盒子（每个约 6X30X5H 大小），现在都已经整合到了系统框架内。 这些通道的超强 I/O 处理能力是大型机系统功能如此强大的原因之一。 什么是 DASD DASD 是 Direct Access Storage Device（直接存取存储设备）的缩写；IBM 创造这个词来指那些可以直接（并随意）设定地址的存储系统，也就是今天我们所说的磁盘驱动器。但在过去，