【MeiWei_81重点借鉴文档】数据中心网络建设方案目录第一章 数据中心现状分析4第二章 数据中心网络技术分析42.1 路由与交换42.2 EOR 与TOR52.3网络虚拟化52.3.1 网络多虚一技术52.3.2网络一虚多技术72.4 VM互访技术（VEPA）72.5 虚拟机迁移网络技术11第三章 方案设计133.1网络总体规划133.2省级数据中心网络设计153.3市级数据中心网络设计163.4区县级数据中心网络设计173.5省、市、区/县数据中心互联设计183.5.1省、市数据中心互联183.5.2市、区/县数据中心互联193.5.3数据中心安全解决方案19第四章 方案的新技术特点214.1量身定制的数据中心网络平台214.1.1最先进的万兆以太网技术214.1.2硬件全线速处理技术224.1.3 ERtreme Direct Attach技术244.1.5 帮助虚机无缝迁移的RNV技术294.1.5环保节能的网络建设334.2 最稳定可靠的网络平台344.2.1 独有的模块化操作系统设计344.2.2超强的QOS服务质量保证354.3先进的网络安全设计374.3.1 设备安全特性384.3.2用户的安全接入394.3.3智能化的安全防御措施404.3.4常用安全策略建议41附录 方案产品资料451.核心交换机BD 8800452.SummitR670系列产品493.三层千兆交换机Summit R460614.核心路由器MP7500695.汇聚路由器MP7200756.接入路由器MP3840817.接入路由器MP2824858.MSG4000综合安全网关90第一章数据中心现状分析云计算数据中心相比较传统数据中心对网络的要求有以下变化：1、Server-Server流量成为主流，而且要求二层流量为主。2、站点内部物理服务器和虚拟机数量增大，导致二层拓扑变大。3、扩容、灾备和VM迁移要求数据中心多站点间大二层互通。4、数据中心多站点的选路问题受大二层互通影响更加复杂。5、iSCSI/FCoE是数据中心以网络为核心演进的需求，也是不可或缺的一部分。第二章数据中心网络技术分析2.1路由与交换数据中心网络方面，关注的重点是数据中心内部服务器前后端网络，对于广泛意义上的数据中心，如园区网、广域网和接入网等内容，不做过多扩散。数据中心的网络以交换以太网为主，只有传统意义的汇聚层往上才是IP的天下。数据中心的以太网络会逐步扩大，IP转发的层次也会被越推越高。数据中心网络从设计伊始，主要着眼点就是转发性能，因此基于CPU/NP转发的路由器自然会被基于ASIC转发的三层交换机所淘汰。传统的Ethernet交换技术中，只有MAC一张表要维护，地址学习靠广播，没有什么太复杂的网络变化需要关注，所以速率可以很快。而在IP路由转发时，路由表、FIB表、ARP表一个都不能少，效率自然也低了很多。云计算数据中心对转发带宽的需求更是永无止境，因此会以部署核心-接入二层网络结构为主。层次越多，故障点越多、延迟越高、转发瓶颈也会越多。目前在一些ISP（InternetServiceProvider）的二层结构大型数据中心里，由于传统的STP需要阻塞链路浪费带宽，而新的二层多路径L2MP技术还不够成熟，因此会采用全三层IP转发来暂时作为过渡技术，如接入层与核心层之间跑OSPF动态路由协议的方式。这样做的缺点显而易见，组网复杂，路由计算繁多，以后势必会被EthernetL2MP技术所取代。新的二层多路径技术，不管是TRILL还是SPB都引入了二层ISIS控制平面协议来作为转发路径计算依据，这样虽然可以避免当前以太网单路径转发和广播环路的问题，但毕竟是增加了控制平面拓扑选路计算的工作，能否使其依然如以往Ethernet般高效还有待观察。MPLS就是一个的前车之鉴，本想着帮IP提高转发效率，没想到却在VPN路由隔离方面获得真正应用。2.2EOR与TOR数据中心网络设备就是交换机，而交换机就分为机箱式与机架式两种。当前云计算以大量R86架构服务器替代小型机和大型机，导致单独机架Rack上的服务器数量增多。受工程布线的困扰，在大型数据中心内EOR（EndOfRow）结构已经逐步被TOR（TopOfRack）结构所取代。机架式交换机作为数据中心服务器第一接入设备的地位变得愈发不可动摇。而为了确保大量机架式设备的接入，汇聚和核心层次的设备首要解决的问题就是高密度接口数量，由此机箱式交换机也就占据了数据中心转发核心的位置。综合来说，一般情况下数据中心以大型机箱式设备为核心，机架式设备为各个机柜的接入2.3网络虚拟化云计算就是计算虚拟化，而存储虚拟化已经在SAN上实现得很好了，剩下网络虚拟化了。云计算环境中，所有的服务资源都成为了一个对外的虚拟资源，那么网络不管是从路径提供还是管理维护的角度来说，都得跟着把一堆的机框盒子进行多虚一统一规划。而云计算一虚多的时候，物理服务器都变成了很多的VM，网络层面则需要对一虚多对通路建立和管理更精细化。2.3.1网络多虚一技术网络多虚一技术。最早的网络多虚一技术代表是交换机集群Cluster技术，多以盒式小交换机为主，较为古老，当前数据中心里面已经很少见了。而新的技术则主要分为两个方向，控制平面虚拟化与数据平面虚拟化。控制平面虚拟化顾名思义，控制平面虚拟化是将所有设备的控制平面合而为一，只有一个主体去处理整个虚拟交换机的协议处理，表项同步等工作。从结构上来说，控制平面虚拟化又可以分为纵向与横向虚拟化两种方向。纵向虚拟化指不同层次设备之间通过虚拟化合多为一，相当于将下游交换机设备作为上游设备的接口扩展而存在，虚拟化后的交换机控制平面和转发平面都在上游设备上，下游设备只有一些简单的同步处理特性，报文转发也都需要上送到上游设备进行。可以理解为集中式转发的虚拟交换机横向虚拟化多是将同一层次上的同类型交换机设备虚拟合一，控制平面工作如纵向一般，都由一个主体去完成，但转发平面上所有的机框和盒子都可以对流量进行本地转发和处理，是典型分布式转发结构的虚拟交换机。控制平面虚拟化从一定意义上来说是真正的虚拟交换机，能够同时解决统一管理与接口扩展的需求。但是有一个很严重的问题制约了其技术的发展。服务器多虚一技术目前无法做到所有资源的灵活虚拟调配，而只能基于主机级别当多机运行时，协调者的角色（等同于框式交换机的主控板控制平面）对同一应用来说，只能主备，无法做到负载均衡。网络设备虚拟化也同样如此，以框式设备举例，不管以后能够支持多少台设备虚拟合一，只要不能解决上述问题，从控制平面处理整个虚拟交换机运行的物理控制节点主控板都只能有一块为主，其他都是备份角色（类似于服务器多虚一中的HACluster结构）。总而言之，虚拟交换机支持的物理节点规模永远会受限于此控制节点的处理能力。数据平面虚拟化数据平面的虚拟化，目前主要是TRILL和SPB，他们都是用L2ISIS作为控制协议在所有设备上进行拓扑路径计算，转发的时候会对原始报文进行外层封装，以不同的目的Tag在TRILL/SPB区域内部进行转发。对外界来说，可以认为TRILL/SPB区域网络就是一个大的虚拟交换机，Ethernet报文从入口进去后，完整的从出口吐出来，内部的转发过程对外是不可见且无意义的。这种数据平面虚拟化多合一已经是广泛意义上的多虚一了，此方式在二层Ethernet转发时可以有效的扩展规模范围，作为网络节点的N虚一来说，控制平面虚拟化目前N还在个位到十位数上晃悠，数据平面虚拟化的N已经可以轻松达到百位的范畴。但其缺点也很明显，引入了控制协议报文处理，增加了网络的复杂度，同时由于转发时对数据报文多了外层头的封包解包动作，降低了Ethernet的转发效率。从数据中心当前发展来看，规模扩充是首位的，带宽增长也是不可动摇的，因此在网络多虚一方面，控制平面多虚一的各种技术除非能够突破控制层多机协调工作的技术枷锁，否则只有在中小型数据中心里面应用，后期真正的大型云计算数据中心势必是属于TRILL/SPB此类数据平面多虚一技术的天地。2.3.2网络一虚多技术网络一虚多技术，已经根源久远，从Ethernet的VLAN到IP的VPN都是已经成熟技术，FC里面则有对应的VSAN技术。此类技术特点就是给转发报文里面多插入一个Tag，供不同设备统一进行识别，然后对报文进行分类转发。代表如只能手工配置的VLANID和可以自协商的MPLSLabel。传统技术都是基于转发层面的，虽然在管理上也可以根据VPN进行区分，但是CPU/转发芯片/内存这些基础部件都是只能共享的。目前最新的一虚多技术是类似ERtremeNetworks在交换机系统中实现的VirtualRouter，和VM一样可以建立多个虚拟交换机并将物理资源独立分配，目前的实现是最多可建立64个VR，其中有一个用做管理。2.4VM互访技术（VEPA）随着虚拟化技术的成熟和R86CPU性能的发展，越来越多的数据中心开始向虚拟化转型。虚拟化架构能够在以下几方面对传统数据中心进行优化：提高物理服务器CPU利用率；提高数据中心能耗效率；提高数据中心高可用性；加快业务的部署速度正是由于这些不可替代的优点，虚拟化技术正成为数据中心未来发展的方向。然而一个问题的解决，往往伴随着另一些问题的诞生，数据网络便是其中之一。随着越来越多的服务器被改造成虚拟化平台，数据中心内部的物理网口越来越少，以往十台数据库系统就需要十个以太网口，而现在，这十个系统可能是驻留在一台物理服务器内的十个虚拟机，共享一条上联网线。这种模式显然是不合适的，多个虚拟机收发的数据全部挤在一个出口上，单个操作系统和网络端口之间不再是一一对应的关系，从网管人员的角度来说，原来针对端口的策略都无法部署，增加了管理的复杂程度。其次，目前的主流虚拟平台上，都没有独立网管界面，一旦出现问题网管人员与服务器维护人员又要陷入无止尽的扯皮中。当初虚拟化技术推行的一大障碍就是责任界定不清晰，现在这个问题再次阻碍了虚拟化的进一步普及。接入层的概念不再仅仅针对物理端口，而是延伸到服务器内部，为不同虚拟机之间的流量交换提供服务，将虚拟机同网络端口重新关联起来。做为R86平台虚拟化的领导厂商，VMWare早已经在其vsphere平台内置了虚拟交换机vswitch，甚至更进一步，实现了分布式虚拟交互机VDS（vnetworkdistributedswitch），为一个数据中心内提供一个统一的网络接入平台，当虚拟机发生vmotion时，所有端口上的策略都将随着虚拟机移动。虚拟以太网端口汇聚器（VEPA）是最新IEEE802.1Qbg标准化工作的一个组成部分，其设计目标是降低与高度虚拟化部署有关的复杂性。如果我们研究一下使用虚拟交换机的传统方法就会发现，它与VEPA方法存在很大的不同，VEPA使用户可以深入了解虚拟化及联网中的各项部署挑战和需要考虑的因素。当您的物理主机上的监视程序上有多台虚拟机（每台虚拟机都包含一套操作系统和多种应用）时，这些虚拟机在相互通信和与外部世界通信时都要使用虚拟交换机。事实上，虚拟交换机是一种第2层交换机，通常以软件的形式在监视程序内运行。每种监视程序通常都有一个内建的虚拟交换机。不同的监视程序所含的虚拟交换机在能力方面也是千差万别的。当虚拟交换机从联网领域转移到服务器领域时，就有必要针对虚拟环境对传统的基于网络的工具和解决方案进行重新测试、重新定性和重新部署。从某些方面来说，这种变化会对虚拟化的快速扩展和普及造成阻碍