中国移动集团级重点研发项目中国移动集团级重点研发项目结题汇报报告结题汇报报告9/17/20249/17/2024项目名称：CMNet新跨越解决方案和关键技术研究子课题大型CMNET城域网二层组网方案的研究 一一一一. . . . 课题目标实现情况课题目标实现情况目目 录录二、主要研究成果二、主要研究成果1.1 1.1 研究背景及目标（开题报告）研究背景及目标（开题报告）背景:大型城域数据网接入层至三层设备（BRAS/AC）的链路条数多，目标流量大。初期业务量不大，三层设备相对集中在数个传输骨干局址，AC单机容量较小数量多；PTN网络具备汇聚功能且覆盖了大量接入点，初期设备端口受限，难以满足至BRAS/AC/SR的端口需求。北京现网接入了用户、数据业务平台、缓存系统等，需城域网疏通多种策略路由（如异常流量清洗回注、至第三方网络等）。北京现网BRAS为双机温备份，若工作BRAS宕机，拨号后由BRAS备机承载业务，客户感知明显（业务及拨号中断）。目标:研究大型城域数据网的网络结构，提出策略路由优化的方案。研究BRAS热备的部署方案，测试现网热备的效果。1.2 1.2 主要研究内容（开题报告）主要研究内容（开题报告） 说明：即开题评审后，确定的主要研究内容、主要解决方案、难点、总体说明：即开题评审后，确定的主要研究内容、主要解决方案、难点、总体思路、达到效果及各研究单位的分工。思路、达到效果及各研究单位的分工。1、研究北京移动CMNET城域网网络结构，包括二层组网方案；策略路由优化方案。2、BRAS备份的现网实验进行BRAS热备份实验，测试热备的现网效果1.3 1.3 目标完成情况总结目标完成情况总结 在在该项目工作中该项目工作中该项目工作中该项目工作中1 1 1 1）解决了）解决了）解决了）解决了xxxxxxxx项公司在市场发展和生产运营中存在的关键问题（如何解决，解决到了项公司在市场发展和生产运营中存在的关键问题（如何解决，解决到了项公司在市场发展和生产运营中存在的关键问题（如何解决，解决到了项公司在市场发展和生产运营中存在的关键问题（如何解决，解决到了什么程度）什么程度）什么程度）什么程度）用用用用PTNPTNPTNPTN与交换机组合实现城域汇聚层功能的方案解决了北京移动互联网业务发与交换机组合实现城域汇聚层功能的方案解决了北京移动互联网业务发与交换机组合实现城域汇聚层功能的方案解决了北京移动互联网业务发与交换机组合实现城域汇聚层功能的方案解决了北京移动互联网业务发展初期展初期展初期展初期AC/BRASAC/BRASAC/BRASAC/BRAS数量增幅大于传输数量增幅大于传输数量增幅大于传输数量增幅大于传输/ / / /传输设备疏通能力增幅的矛盾，为抓住宽传输设备疏通能力增幅的矛盾，为抓住宽传输设备疏通能力增幅的矛盾，为抓住宽传输设备疏通能力增幅的矛盾，为抓住宽带市场机遇提供了组网方案的支撑。带市场机遇提供了组网方案的支撑。带市场机遇提供了组网方案的支撑。带市场机遇提供了组网方案的支撑。北京北京北京北京CMNETCMNETCMNETCMNET城域网结构和路由策略优化城域网结构和路由策略优化城域网结构和路由策略优化城域网结构和路由策略优化为为为为在城域网内灵活疏通多种业务提供了在城域网内灵活疏通多种业务提供了在城域网内灵活疏通多种业务提供了在城域网内灵活疏通多种业务提供了了技术支撑。了技术支撑。了技术支撑。了技术支撑。2 2 2 2）研究和提出了）研究和提出了）研究和提出了）研究和提出了xxxxxxxx项关键技术点的决策建议。项关键技术点的决策建议。项关键技术点的决策建议。项关键技术点的决策建议。3 3 3 3）挖掘了国内专利申请）挖掘了国内专利申请）挖掘了国内专利申请）挖掘了国内专利申请xxxxxxxx项，其中，专利族项，其中，专利族项，其中，专利族项，其中，专利族xxxxxxxx个（含专利个（含专利个（含专利个（含专利xxxxxxxx项），实现应用的专利项），实现应用的专利项），实现应用的专利项），实现应用的专利xxxxxxxx件（注：从以下件（注：从以下件（注：从以下件（注：从以下4 4 4 4条线索分别统计专利应用情况，企标、国际标准、专利池、成果条线索分别统计专利应用情况，企标、国际标准、专利池、成果条线索分别统计专利应用情况，企标、国际标准、专利池、成果条线索分别统计专利应用情况，企标、国际标准、专利池、成果推广），专利风险评估报告推广），专利风险评估报告推广），专利风险评估报告推广），专利风险评估报告xxxxxxxx份。份。份。份。4 4 4 4）输出企业标准）输出企业标准）输出企业标准）输出企业标准xxxxxxxx个，国际标准文稿个，国际标准文稿个，国际标准文稿个，国际标准文稿xxxxxxxx篇。篇。篇。篇。5 5 5 5）完成了新技术试验完成了新技术试验完成了新技术试验完成了新技术试验1 1 1 1项（项（项（项（BRASBRASBRASBRAS双机热备的现网实验），为提升宽带业务不双机热备的现网实验），为提升宽带业务不双机热备的现网实验），为提升宽带业务不双机热备的现网实验），为提升宽带业务不间断做出了现网实验的支撑。间断做出了现网实验的支撑。间断做出了现网实验的支撑。间断做出了现网实验的支撑。6 6 6 6）初步估计对企业绩效的贡献情况为）初步估计对企业绩效的贡献情况为）初步估计对企业绩效的贡献情况为）初步估计对企业绩效的贡献情况为（开放式回答）。（开放式回答）。（开放式回答）。（开放式回答）。一一. . 课题目标实现情况课题目标实现情况目目 录录二、主要研究成果（整合后）二、主要研究成果（整合后）汇聚层的组网技术汇聚层的组网技术城域数据网内汇聚层业务的具体需求：接入网至BRAS/SR/AC是点到点的流量，流向相对固定，现阶段，其中接入网至BRAS流量较大，接入网至AC流量较小。对用户进行接入控制，不同用户在汇聚层不互通因此，城域数据网汇聚层设备构建二层动态交换网络的驱动力不明显城域数据网汇聚层的组网技术以太网交换机按VLAN汇聚的功能成熟，组网经验丰富。PTN设备组网PTN设备可实现业务接入、汇聚及传送，实现城域数据网汇聚层功能；数据网的三层功能如路由、VPN PE、IPOE/PPOE、DPI等功能可由路由器来完成。PTN设备通过E-LAN可以实现二层动态交换功能，实现类似VPLS的功能，但存在面对未知单播、多播复制、广播形成突发流量的流量规划、带宽预留的困难，需与二层设备互通，MAC地址的学习/老化、处理STP等VLAN机制，目前设备尚不成熟、组网经验较少。目前，PTN设备组网以提供点到点传送为主。大型城域网汇聚层的组网方案（初期）大型城域网汇聚层的组网方案（初期）面对网络建设初期BRAS/AC/SR集中放置在传输骨干局址，在未广泛部署汇聚交换机的场景，OLT上行若用光纤直驱，存在距离远、跨传输器区域调度等实际困难，可利用PTN现网设备接入点多的优势，除疏通接入基站回传、集团大客户外，还可疏通附近的WLAN热点流量、宽带业务流量等城域数据网汇聚层的组网技术。AC集中放置、经AC疏通的流量较少，可采用交换机汇聚AC下行端口，以减少对PTN端口的占用。即由PTN和交换机组合实现城域汇聚层功能。因OLT至BRAS的流量较大，由PTN直连BRAS，PTN提供局向汇聚。14PTN和交换机组合实现汇聚层功能初期方案CMNET城域网核心路由器核心路由器PTNPONWLAN热点交换机BRAS/SRBRAS/SRACACPON集团大客户汇聚交换机汇聚交换机大型城域网汇聚层的组网方案（中远期）大型城域网汇聚层的组网方案（中远期）把AC中的用户管理（认证/计费等）功能逐步移至BRAS，AC旁挂BRAS或区域部署，可减少对汇聚层物理端口的需求。符合城域网技术体制演进方向CMNET城域网核心路由器核心路由器PTNPONWLAN热点交换机BRAS/SRBRAS/SRACAC汇聚交换机PON汇聚交换机集团大客户PON北京北京CMNETCMNET城域网结构和路由策略优化城域网结构和路由策略优化 CMNET城域网与省网合一灵活设置哪些出网需经第灵活设置哪些出网需经第三方网络疏通，通过三方网络疏通，通过TETE隧隧道直达与关口路由器道直达与关口路由器网络结构和策略路由优化方案第三方BGP互联、流量清洗的BGP连接从省网汇聚路由器调整至关口路由器(ASBR)通过TE隧道疏通特定流向（流向固定）的流量，如需向第三方出口输出的流量、流量清洗后的回注流量。省网汇聚路由器汇聚路由器BRAS/SRAC汇聚路由器业务汇聚路由器业务汇聚路由器关口路由器1三方网络CMNET骨干网CMNET城域网与省网合一省网汇聚路由器汇聚路由器BRAS/SRAC汇聚路由器省网汇聚路由器业务汇聚路由器（业务汇聚路由器三方网络CMNET骨干网方案比较原有的策略路由优化后的策略路由策略判断点省网汇聚路由器城域网汇聚路由器（综合策略灵活度/数量和城域网内BGP域范围等因素）策略路由动作 线卡硬件进行IP转发（消耗转发能力）TE隧道直达目的地QoS保障方式IP QosTE资源预留+IP Qos安全性策略集中，部署风险相对较高策略分布部署，降低了部署风险特点省网汇聚路由器路由功能繁重省网汇聚路由器MPLS转发策略流量，贴近大型网络边缘路由核心转发的趋势北京CMNET城域网属大型城域数据网，规模接近省网，城域网核心路由器实为省网汇聚路由器。城域网客观存在大量策略路由需求，如某VIP业务出网流量需送至特殊链路（如某三方网络），流量清洗回注不能送入牵引设备公有路由器表以免循环引流，等等。原有的策略路由由省网汇聚路由器执行，使得其功能繁杂、负载较高，不利于城域数据网的稳定运行。优化效果：降低对省网汇聚路由器端口转发能力的消耗，降低了策略路由部署的风险，提升了城域网路由/转发的稳定性。三方网络的备份路由三方网络的备份路由为为CMNETCMNET骨干网骨干网通用缓存通用缓存省网汇聚路由器业务系统业务系统BRASBRAS热备现网实验热备现网实验BRASBRAS双机设备、双机设备、PTNPTN疏通疏通OLTOLT上联上联北京现网实验背景：对于OLT/SW与BRAS同局址的场景，光纤双上联BRAS；对于OLT与BRAS异局址的场景，采用PTN疏通OLT/BRAS间的链路。实验目的：测试华为ME60 BRAS的双机热备的效果OLT径PTN上联BRAS的方案PTN透传OLT的2条上联链路由PTN实现汇聚交换机的功能PTN疏通业务的方式OLT至BRAS的2条上联链路分别由1条PTN PW承载下游PTN起VPLS、上游PTN建2条PW连到下游的VPLS中BRAS面向OLT VRRP心跳报文的通路由PTN透传、OLT桥接由PTN内部的VPLS提供二层通路链路检测机制BRAS与OLT间运行静态BFD或802.1ag对OLT通过PTN上联BRAS的场景，OLT单归和双归均可实现BRAS双机热备。考虑OLT单归OLT端尾纤故障中断业务和降低PTN与业务的耦合度，推荐在资源具备时优先考虑OLT双归的模式。对OLT径PTN上联BRAS方案的理论分析BRASBRAS热备现网实验的效果热备现网实验的效果实验结果：2台ME60双机热备在现网稳定运行半年，切换和回切用户拨号不中断，客户侧感知的业务中断时长小于5秒，上网类业务感知不明显，流媒体类业务感知较明显但业务在短时间内恢复，业务不间断方面明显好于温备份 实验设备：BRASHW ME60(ME60 V600R002C02SPC700)，PTNHW(V1R2CC01), OLTHW(V8R6)。测试交换机直连BRAS，下挂测试仪模拟100个PPPOE和110个IPOE用户；OLT下有600左右现网用户，每用户平均速率下行320K、上行132K。BRAS采用共享地址池方案，不进行NAT转换。影响转发中断时长的因素主要有：BRAS检测出故障，确定备是否升主占用的时长BRAS双机内部切换占用的时长OLT/BARS刷新MAC转发表的时长上行路由器相关路由收敛的时长故障点检测机制切换机制切换时转发中断的时长故障点1主备BRAS间BFD+BRAS与OLT的静态BFDVRRP主备切换，业务从备线疏通3500ms故障点1主备BRAS间BFD+BRAS与SW的静态BFDVRRP主备切换，业务从备线疏通200ms故障点2主备BRAS间BFD+BRAS与OLT的静态BFDBRAS主备切换；业务从备线疏通3500ms故障点3MPLS-TP OAMPTN伪线快速切换50ms故障点4、5主备BRAS间BFD+BRAS与OLT的静态BFDBRAS主备切换；业务从备线疏通3500ms故障点6主备BRAS间BFD+BRAS与OLT的静态BFDBRAS主备切换；业务从备线疏通3500ms故障点7上联端口状态/BFDBRAS主备切换；业务从备线疏通3500msME60-2BRASPTN3900CMNET汇聚路由器11 12 23 34 45 56 61 17 7PTN3900ME60-1GPONSWBRAS汇聚路由器2用户测试仪1测试仪2注： 极限情况（如单纤断），BFD三次检测失败后才判断出主用BRAS下行链路故障并触发主备切换，若采用隧道转发，最大中断时长=3*检测间隔+OLT/SW刷新BRAS MAC时长；若回程路由还需收敛，则最大中断时长=3*检测间隔+max（OLT/SW刷新BRAS MAC时长，路由收敛收敛时长）。现网OLT BFD的检测间隔为1000ms、采用共享地址池/隧道保护模式，最大转发中断时长3500ms 测试的是SW/OLT直连BRAS场景，链路检测可选用BFD/802.3ah/802.1ag/端口自协商。测试用交换机BFD的检测间隔为50ms，极限场景需150ms左右判断主用BRAS下行链路故障，触发主备切换 BRAS的VRRP跟踪上联（和互联）端口状态，触发主备切换和路由收敛。极限情况（如单纤断），3秒左右检测到需要切换，最大转发中断时长3500msPWPW模拟故障，PPPoE/IPoE连接（PPPOE断线侦测是3*20秒）未中断，转发中断时长见下PTN3900PTN3900部署华为部署华为ME60ME60双机热备考虑的部分技术点双机热备考虑的部分技术点备份模式N:11:1切换转发中断时长较长（因线卡能力受限，切换时才下发用户表项至线卡）短（用户表项被实时同步到线卡中）下行端口规划较复杂简单（推荐两侧BRAS端口一致）端口绑定类业务对认证系统的需求需认证系统支持一个账户绑定2个端口无（前提为两侧BRAS端口的使用情况一致）用户地址段共享方式每个下联物理口独享用户地址段多个下联物理口共享用户地址段地址池利用率高稍低用户地址段的回程路由不同用户地址段可能指向不同的BRAS用户地址段指向同一侧的BRAS两侧BRAS间是否转发下行报文无需转发，但需BRAS上面的路由收敛需转发（通过两侧BRAS间物理直连疏通，或途径上行网络的专用隧道疏通-流量绕行）其他特点更适于两侧BRAS实现负载分担和异局址的BRAS组成双机热备（因下行流量不绕行）更适于BRAS口字型上联的场景5、主备ME60用不同的IP与RADIUS通信，需认证系统兼容；对于COA应用，目前方案为主备BRAS配置同样的环回IP地址、备BRAS把COA报文转发给主BRAS。1、选择适当的备份模式2、选择适当的用户地址池共享方式6、目前，ME60尚不支持同步NAT表项，若ME60承担了NAT转换功能，主备切换后NAT表项需重新生成，面向连接的业务需重建连接3、设置适当的链路检测周期，要保证两端的BRAS/AC/SW设备稳定运行，不易过小，数值和实际设备的性能相关。4、考虑业务体验，避免乒乓切换或回切过快出现异常，可设置为不回切。若考虑流量流向相对固定，可设置回切抢占，且设置回切抑制时长（如10分钟）减少乒乓切换或回切过快出现异常的概率。14结束结束谢谢大家！