集群管理技术白皮书HUAWEI华为技术有限公司Huawei Technologies Co., Ltd.目录1前言 2.2主要特性 3.3技术方案 4.3.1交换机在集群中的角色 43.2拓扑信息的收集 63.2.1NDP 协议的应用73.2.2NTDP 协议的应用73.3拓扑管理83.3.1拓扑管理的白、黑名单 83.3.2拓扑认证 83.3.3交换机状态 93.3.4拓扑的显示 93.4集群维护的过程 93.5集群内部的通讯 113.6命令交换机对集群状态的监控 123.7成员交换机的即插即用（零配置） 123.8集群的各种管理应用 133.8.1 集中网管通过SNMP管理集群133.8.2 通过Telnet管理集群143.8.3 通过WEB网管管理集群153.8.4 程序和数据的逐个和批量加载 164 典型应用 1.95 结束语 2.0附录A缩略语20集群管理技术白皮书摘 要：HGMP集群管理是对于以太网产品统一配置、维护和管理的协议。可以实现对多个设 备统一、集中、批量配置/升级，实现网络拓扑信息收集、维护，动态更新，实现对远 程新设备自动发现、下发配置，从而大大减少维护成本。本文主要介绍集群管理的基本 原理和典型应用。关键词：HGMP，集群管理1 前言在目前的数字网络环境下，对网络设备的管理主要有两种方式，一是直接到网络设备布放的 地点，通过串口直接连接网络设备，对设备进行配置管理；二是通过SNMP协议或者使用Telnet 协议，在远端管理网络设备。对于第一种方式的管理方式，主要优点是管理手段相对比较简单，而且由于通过串口直接连 接被管设备，因此对于配置网络设备时不需要配置相应的管理IP地址，节省了 IP资源，而且不需 要另外附加其他设备，只需要一台便携PC就可以完成所有的配置工作；主要的问题是维护比较 困难，维护工作量大。由于网络设备基本都是分散分布的，特别是在电信网络中，数据设备量非 常大，而且设备的布放点十分分散，同时可能有数百，甚至上千台设备，分布在方圆数公里的范 围内，如果采用这种管理方式，对于每一次日常维护工作，维护人员都需要四处奔走，不仅工作 量大，而且维护十分不方便。相对于第一种管理方式，第二种管理方式的主要优点在于日常维护工作量要小得多，工作人 员可以在远端，通过网管终端，或者Telnet仿真终端，远程对被管理的维护终端实现管理，可以 完成日常所需的基本配置功能，但是要实现这种管理，对于这些网络设备必须要配置一个公共网 IP地址，对于目前IP地址资源愈来愈缺乏的现状，要求必须分配IP地址成为了这种管理方式的致 命伤，特别是在电信网络中，由于设备数量非常大，这种管理方式的缺陷显得尤为明显。HGMP(HUAWEI Group Management Protocol)就是华为公司为了解决上述对大量设备配置 维护量大、IP资源浪费严重、开放性不佳等的问题提出的一套对一组以太网产品统一配置、维护 和管理的专用协议族。HGMP主要解决以下问题： 实现对一组设备统一、集中、批量配置/升级的途径； 网络拓扑信息收集、维护，动态更新； 节省 IP 地址资源； 对远程新设备能够自动发现、下发配置、并可纳入集群中进行管理2 主要特性HGMP具有以下的主要特性： 管理VLAN可配置：用户可以根据自己的网络规划，在交换机支持的VLAN范围内建立 集群 零配置即插即用：对于新出厂的设备，无需任何配置，连入已建立集群的网络后， 5分 钟内，就能自动修改管理VLA N并加入集群 批量下载配置文件：用户可以在FTP服务器上对应的目录下放置公有配置文件和针对每 台设备的特殊配置文件，成员交换机在加入集群并通过认证后，会自动去获取该配置文 件并运行，用户也可以通过命令行的方式，手动的批量下载配置文件。（注：配置文件 下载后，会自动运行，无需重启） 保存配置文件：用户可以保存任何一台设备的当前配置到FTP服务器上，可以选择作为 本设备的特殊配置或公有配置 批量升级app：用户可以在FTP服务器上对应的目录下放置app文件，然后通过命令行的 方式批量升级app，由于命令交换机处理能力有限，app升级采用令牌的方式，任意时刻， 只能有三台升级，用户输入给所有app升级的命令后，会自动给所有成员排队升级。一 般情况下，给15个成员批量升级app，大约需要30分钟，批量升级会自动设置下次启动 的文件为最新下载的文件，下载app的结果将以SYSLOG的形式通知给用户 重启所有成员：升级好app后，用户可以在命令交换机上输入一条命令远程重启所有成 员，重启后，这些成员会自动加入集群。 拓扑管理：由于即插即用功能，安全性尤为重要，可以提供黑白名单式的管理方式，白 名单的成员才可以下载配置文件，更新app，获取SNMP配置，黑名单的成员，不允许 加入集群。黑白名单由用户自由添加，可以保存在FTP Server上，也可保存在命令交换 机的F LAS H中。 拓扑显示：在命令交换机上，以字符串的形式，画出了一张网络拓扑图，形象的描述了 拓扑结构，同时标记出了异常的成员，目前显示支持三级，用户可以选择不同的设备作为根节点 按位置恢复配置文件：如果一台成员交换机发生故障，更换后，只要保证其上下行连接 的端口不变，在其连入网内后，能自动通过认证，并获取原先设备的配置（原设备的配 置，需用户提前保存在FTP服务器上） SNMP自动配置：加入集群后，SNMP的配置会自动配在成员交换机上，SNMP的口令 可以提前在命令交换机上统一配好。 Trace MAC：用户可以查看任意一台设备距离当前设备的完整路径，或网内的任意一 台PC距离当前设备的完整路径 成员超时退出：如果成员交换机与命令交换机的联系中断，默认情况下，在3分钟后， 该成员会自动退出集群，这样，他就可以被其他集群加入，不会吊死，减少维护工作量。3 技术方案3.1 交换机在集群中的角色实现集群管理功能的主要目的是允许网络管理员通过一个主交换机的公网IP地址，实现对多 个交换机的管理。主交换机称为命令交换机（command switch），其它被管理的交换机称为成员 交换机（member switch），成员交换机一般不设置公网IP地址，命令交换机和成员交换机组成 了一个“集群”。按各交换机所处的地位和功能的不同，也就形成了不同的角色，用户可以通过 配置来指定交换机的角色，各种角色可以按一定的规则来切换。集群中的角色有命令交换机、成员交换机，还有备份交换机以及侯选交换机四种：1）命令交换机：配置有公网IP地址的交换机，管理命令首先发送到命令交换机上由命令交 换机处理，如果发现目的是某成员交换机，则转发到成员交换机上处理。2）备份交换机：备份交换机，用于命令交换机的备份。当命令交换机失效时，备份交换机 能够转换成为命令交换机。通常设置了多个备份交换机时，还需要提供一定的机制选出其中一个 作为命令交换机。3）成员交换机：集群中的成员，对成员交换机的管理是通过命令交换机的代理来完成的， 它一般不设置公网IP地址。4）侯选交换机：候选交换机，没有加入任何集群但有集群能力、能够成为集群成员的交换 机称为候选交换机。角色转换规则如下：图1 角色切换规则关于集群中的角色说明下：1）每个集群必须指定一个且仅有一个命令交换机。在命令交换机被指定后，命令交换机通 过收集 NDP/NTDP 信息，确定和发现候选交换机。用户可以通过配置把候选交换机加入到集群 中。当开启集群即插即用功能时，命令交换机会将发现的候选交换机自动加入到集群中。2）候选交换机加入集群后，成为成员交换机；成员交换机被删除后将恢复为候选交换机。 当开启集群即插即用功能时，成员交换机在一定的时间内与命令交换机握手联系不上，则自动退 出集群，等待加入到其他集群中。3）成员交换机可以被指定作为命令交换机的备份，成为备份交换机，在命令交换机失效时， 优先级最高的备份交换机将成为命令交换机；如果取消指定，则备份交换机成为成员交换机。成员盘换机网管 9 0/100命皱换机69.1J47n&ofk集群图2 各角色在集群中上图2简要描述了集群管理系统的组网应用，图中一台命令交换机、一台备份交换机和若干 成员交换机组成了一个集群。在集群中，命令交换机负责对整个网络的统一管理，实现集群的建 立和维护，成员的加入/删除，成员的状态维护，网络的拓扑收集等等功能；备份交换机用于实 现在命令交换机出现异常时，替代命令交换机，接管对整个网络的集中管理。交换机在加入集群 后，用户就可以通过命令交换机来对它们进行远程管理，包括配置、查看等各种操作。3.2 拓扑信息的收集集群管理对网络拓扑信息的收集由以下几个步骤完成：首先，所有设备都会使用NDP协议收集相邻设备的信息，包括MAC地址、端口信息、设备 类型、设备间相连接的端口号等。即使在STP阻塞的端口，也可以互相发现邻居。然后，由命令交换机使用NTDP协议收集所有设备的自身信息和各个设备上收集到的相邻设 备信息。这些信息就作为网络的拓扑信息的基础，网管软件使用它可以准确的画出网络的拓扑图。 另外，命令交换机还可以从收集到的信息中查找集群的候选交换机。HGMP能快速响应拓扑变化，加入集群的交换机在发现相邻交换机拓扑有变化时，会通知命 令交换机，由命令交换机对拓扑信息进行更新，网管则通过查询拓扑信息的变化更新拓扑图。3.2.1 NDP 协议的应用NDP发现协议被设计用于该设备获取邻接的设备的信息，如邻接设备的设备类型、硬件版本、 软件版本、连接端口、设备ID、地址信息、设备能力、硬件平台等信息，它非常有助于调试，为 拓扑协议提供最基本的信息。NDP协议与链路的物理介质和协议都无关，可运行在支持SNAP的 LAN、Frame Relay和ATM网络中，NDP运行在数据链路层之上，因此不同网络层协议的系统可 以互相发现。NDP协议只能用来发现直接相连的邻居信息。支持NDP的设备周期性向设备所有接口发送 NDP报文，同时接收邻居设备发送的NDP信息，并存储和维护NDP信息表（NDP Cache）。NDP信 息表提供邻居设备的设备信息，如设备类型、设备ID等，每个邻居的NDP信息表可以被老化，一 旦老化时间到，相应记录将被自动删除。3.2.2 NTDP 协议的应用拓扑协议（NTDP）在一定网络范围内收集每个设备的NDP信息以及它与所有邻居的连接信 息，收集完这些信息后，将这些信息传送给网管系统，网管系统可以画出网络拓扑结构图。拓扑收集设备（如命令交换机）向网络内的所有设备都发送一个拓扑请求报文，收到该请求 的设备都会向它发送拓扑响应报文，这样，拓扑收集设备可以收集到所有设备及设备间互联的信 息，并且把该信息传送给网管系统，网管系统可以显示出网络拓扑图。七4拓扑请求报文 柘扑响应报文Qs设备及设备间连接信息仆图3 拓扑收集示意图如上图所示，NTDP实现原理是：NTDP从指定的一个或多个启动NDP功能的端口发送拓扑 请求报文，收到该请求的设备立即发送响应报文，并且复制此请求报文发送给它的所有邻接设备 邻接设备收到请求后将执行同样的操作：发送响应报文，复制请求报文发送给它的所有邻接设备 Copyright 2005 华为技术有限公司 版权所有，侵权必究7以此类推，网络中的每个设备都会收到此请求，都会向拓扑收集设备响应此请求。响应报文包含 有本设备的NDP信息和它与所有邻接设备的连接信息，