NetFlowNetFlow协议介绍协议介绍什么是什么是NetFlow1996年，Cisco系统公司的Darren Kerr和Barry Bruins开发了一种流量轮廓监控技术，即NetFlow。作为业界事实标准，NetFlow描述了路由器输出关于被路由套接字对（the routed socket pairs）统计信息的方法。目前Cisco的绝大多数路由器集成了该特性，Juniper、Extreme以及其他厂商也有集成该特性的路由器和交换机；理解理解NetFlowNetFlow是Cisco发布的一款用于分析网络数据包信息的工具包。利用Netflow技术可以监测网络上的IP流（IP flow）信息。采集到的netflow流量信息可以帮助进行网络规划，网络管理，流量计费和病毒检测等等。为什么需要为什么需要netflow?路由器，交换机A在某种意义上是黑盒子管理员不知道黑盒子里面发生了什么黑盒子里面的数据都在干什么，谁发出的，到哪里去，流量大小等等指标NetFlow Services能做什么能做什么NetFlowServices使网络管理员能从他们的数据网络获取IP流信息，这些信息解答了谁、什么、何去何从、何时、IP流量为多少等问题。导出的NetFlow数据可被广泛用于各种用途：Usage-BasedUsage-BasedBillingBillingTraffic AnalysisTraffic Analysisand Monitoring for and Monitoring for Network PlanningNetwork PlanningRouter FeatureRouter FeatureAccelerationAccelerationNetFlow 的价值的价值lNetFlow提供的IP通信流量分析功能无需Probel提供了一套丰富的数据集，可供网络管理、流量工程、流量计费、安全分析，以及增值服务提供等lNetFlow基于使用情况的计费功能，使得所有者能从现在的Cisco系统结构中获得更多的利润，而且计费手段更为经济。流记录（流记录（flow record）一段时间内网络的某个观测点所通过的一系列分组（packets）。通常的流记录分类依据由一个五元组（即源地址、目的地址、源端口、目的端口和协议类型）所组成。 理解理解 NetFlow 的关键的关键1. 1. 1. 源地址源地址源地址源地址源地址源地址2. 2. 2. 目标地址目标地址目标地址目标地址目标地址目标地址3. 3. 3. 源端口源端口源端口源端口源端口源端口4. 4. 4. 目标端口目标端口目标端口目标端口目标端口目标端口5. 5.5.第第第第第第 3 3 3 层协议层协议层协议层协议层协议层协议6. 6.6.导出的导出的 NetFlow 数据数据基于基于 Flow Flow 的分析的分析 ！一个一个NetFlow流定义为在一流定义为在一个源个源IP地址和目的地址和目的IP地址地址间传输的单向数据包流，间传输的单向数据包流，且所有数据包具有共同的且所有数据包具有共同的传输层源、目的端口号！传输层源、目的端口号！唯一标识路由器上的一个唯一标识路由器上的一个网络连接。网络连接。NetFlow 数据记录数据记录 Source IP AddressSource IP Address Destination IP AddressDestination IP Address Next Hop AddressNext Hop Address Source AS NumberSource AS Number Dest. AS NumberDest. AS Number Source Prefix MaskSource Prefix Mask Dest. Prefix MaskDest. Prefix Mask Input Interface PortInput Interface Port Output Interface PortOutput Interface Port Type of ServiceType of Service TCP FlagsTCP Flags ProtocolProtocol Packet CountPacket Count Byte CountByte Count Start TimestampStart Timestamp End TimestampEnd Timestamp Source TCP/UDP PortSource TCP/UDP Port Destination TCP/UDP PortDestination TCP/UDP Port使用情况使用情况QoS时间时间应应 用用Routing和和Peering接口利用率接口利用率何去何何去何从从一条流记录样本一条流记录样本index:0xc1a21router:192.168.254.2src IP:192.168.231.55dst IP:202.112.43.18input ifIndex:8output ifIndex:55src port:12043dst port:80pkts:6bytes:680IP nexthop:202.112.43.20start time:11:29:22 2004-6-9end time:11:29:25 2004-6-9protocol:6tos:0x0src AS:0dst AS:321src masklen: 20dst masklen: 0TCP flags:0x1bengine type: 1engine id:0Netflow体系架构体系架构使设备输出使设备输出 NetFlow 数据数据开启一个接口的开启一个接口的 flow switching flow switching 功能：功能： interface e1/0 interface e1/0ip route-cache flow sampledip route-cache flow sampled设置输出的目的地：设置输出的目的地： ip flow-export destination ip flow-export destination ip flow-export version origin-as | peer-asip flow-export version origin-as | peer-as设为设为 5 5 ，缺省值为，缺省值为 1 1设置用于输出数据包的源地址：设置用于输出数据包的源地址：ip flow-export source ip flow-export source 缺省情况下是具有通达目的地（采集设备）的最佳路由的接口缺省情况下是具有通达目的地（采集设备）的最佳路由的接口ip flow-sampling-mode packet-interval 100ip flow-sampling-mode packet-interval 100ip flow-cache feature-accelerateip flow-cache feature-accelerateshow ip cache flowshow ip cache flow基于路由器的数据聚集基于路由器的数据聚集ip flow-aggregation cache ip flow-aggregation cache cache timeout active cache timeout active 缺省情况下是缺省情况下是 15 15 分钟分钟 sh ip cache flow aggregation sh ip cache flow aggregation export destination ip export destination enable enableNetFlow FlowCollector应应应应 用用用用NetFlowFlowCollectorl接收Flow记录l减小数据量过滤聚集l以平面文件、二进制文件和/或压缩文件形式存储l文件清理lSolaris和HP-UXFlowCollector 处理流程处理流程FilterFilter And Thread Example：Filter filterApermit nexthop 172.16.23.65 0.0.0.0Filter filterBdeny addr 172.16.0.0 0.0.255.255permit addr 0.0.0.0 0.0.0.0NetFlow的功能的功能根据不同的需要定制不同的计划集合(Aggregation Scheme)，这些计划集合包含了NetFlow发送数据中的一个或多个Key Fields和Value Fields，根据不同的需要进行选择，以满足一定的需求。NetFlow的功能的功能 比较典型的是对网络数据的源地址、目的地址的分析，对流量中各种应用的分析（基于协议或者端口）或者路由器上各个端口的负载等的分析。AggregationAggregation是cisco公司定制好的对网络连接监控的内容以DestPort这个Aggregation为例：Keyfield:dstportValuefields:packetcount,bytecount,flowcount解释：这一段时刻，该路由器上的数据包都发往了哪些tcp/udp端口？发到这些端口的数据的包数，字节大小，总流数目是多少？FlowCollectorAggregationSchemes里面可以找到所有的AggregationFlowCollector Aggregation SchemesFlowCollector 目录结构目录结构安装好的目录结构安装好的目录结构：（：（注意注意红色红色红色红色标记）标记）FlowCollector 目录结构目录结构pData目录下存放的是输出的netflow记录文件最有价值的记录内容就在这里！/opt/CSCOnfc/Data/2003_04_21/202.102.224.1/DestPort78|6367|557723|85380|9836608|864296991|61921981|8836|790568|43382|5319|520273|38583|2695|161981|130pBin目录下./nfcollectorstatus|show-tech|clean|start|stopall|nfcgw|collectionFlowCollector 目录结构目录结构pConfig目录下nfconfig.file(core!)配置文件部分内容：ThreadrouterportAggregationDestportPeriod5Port9995StateActiveDataSetPath/opt/CSCOnfc/DataCompressionNoBinaryNoMaxUsage500Network Data Analyzerl图形化显示NetFlow数据l由NetFlowFlowCollector(s)提供数据l基于时间的分析和数据排序l配置路由器和FlowCollectorsl直方图、条形图和饼图l输出数据到电子表格NetFlowNetFlowFlowCollectorsFlowCollectorsNetFlowNetFlowFlowAnalyzerFlowAnalyzerNetFlow版本版本lNetflowV1，为Netflow技术的第一个实用版本。在如今的实际网络环境中已经不建议使用lNetflowV5，增加了对数据流BGPAS信息的支持，是当前主要的实际应用版本。lNetflowV7，思科Catalyst交换机设备支持的一个Netflow版本，需要利用交换机的MLS或CEF处理引擎。lNetflowV8，增加了网络设备对Netflow统计数据进行自动汇聚的功能，可以大大降低对数据输出的带宽需求。lNetflowV9，一种全新的灵活和可扩展的Netflow数据输出格式，采用了基于模板（Template）的统计数据输出。方便添加需要输出的数据域和支持多种Netflow新功能，如MulticaseNetflow，MPLSAwareNetflow，BGPNextHopV9，NetflowforIPv6等。NetFlow 平台支持平台支持*Support for NetFlow Export v1, v5, and v8 on 1600 and 2500 platforms is targeted for Cisco IOS software release 12.0(5)T. NetFlow support for these platforms will not be available in the Cisco IOS 12.0 mainline release.Cisco IOS 软软件件 版本支持版本支持支持的支持的 NetFlow 输输出版本出版本支持的支持的 Cisco 硬件平台硬件平台11.1CA, 11.1CC11.1CA, 11.1CC11.2, 11.2P11.2, 11.2P11.2P11.2P11.3, 11.3T11.3, 11.3T12.012.012.0T12.0T12.0S12.0S12.0(3)T and later12.0(3)T and later12.0(3)S and later12.0(3)S and later12.04XE12.04XEN/AN/A12.0(6)S12.0(6)Sv1, v5v1, v5v1v1v1v1v1v1v1, v5v1, v5v1, v5v1, v5v1, v5, v8v1, v5, v8v1, v5, v8v1, v5, v8v7v7v8v87200, 7500, RSP70007200, 7500, RSP70007200, 7500, RSP70007200, 7500, RSP7000Route Switch Module (RSM), 11.2(10)P and laterRoute Switch Module (RSM), 11.2(10)P and later7200, 7500, RSP70007200, 7500, RSP70001720, 2600, 3600, 4500, 4700, AS5800, 1720, 2600, 3600, 4500, 4700, AS5800, 7200, uBR7200, 7500, RSP7000, RSM7200, uBR7200, 7500, RSP7000, RSM1720, 2600, 3600, 4500, 4700, AS5800, 7200, 1720, 2600, 3600, 4500, 4700, AS5800, 7200, uBR7200, 7500, RSP7000, RSM, MGX 8800 RPM, uBR7200, 7500, RSP7000, RSM, MGX 8800 RPM, BPX 8600BPX 86001400*, 1600*, 1720, 2500*,2600, 3600, 4500, 4700, 1400*, 1600*, 1720, 2500*,2600, 3600, 4500, 4700, AS5800, AS5300*, 7200, uBR7200, 7500, RSP7000, AS5800, AS5300*, 7200, uBR7200, 7500, RSP7000, RSM, MGX8800 RPM, BPX 8650RSM, MGX8800 RPM, BPX 865071007100Catalyst 5K NetFlow Feature Card (NFFC)Catalyst 5K NetFlow Feature Card (NFFC)Catalyst 6K with MSFC cardCatalyst 6K with MSFC card1200012000*Support for NetFlow Export v1, v5, and v8 on AS5300 platform is targeted for Cisco IOS software release 12.0(7)XR. NetFlow的安装的安装gzip d ./fdcount -p 9996 -c 5started: Tue Mar 11 09:32:14 2003ended: Tue Mar 11 09:32:16 2003Average NetFlow data arrival rates on port 9996 are 2.50 datagrams/sec, 30.00 flows/datagram, 2.17 packets/flow一些常用的相关工具：一些常用的相关工具：fdget 接收数据并直接显示出来Example：Flowstat 70 2100 from 61.163.255.1 VIP 2, Tue Mar 11 17:38:26 2003SrcIPDstIPSPortDPortInIntOutIntProtPktsOctetsSrcASDstAS202.102.233.78211.98.201.6580012022812626618300218.29.242.10012.71.52.12019984451292661480061.163.50.92202.102.227.680204812925112800202.102.233.12461.156.24.123720032894126266111300192.168.0.248.223.162.1761032137129261717800一些常用的相关工具：一些常用的相关工具：fdrecorder 接收数据并存入文件nfc_gunzip解压缩fdgenerate 向NetFlow Server服务器发送Flow数据fdplayback 读取特定的数据文件内容向目的服务器发送Flow数据nfc_bin_to_ascii 将二进制变成文本格式rawdecode 问答问答QA结束结束