第6章 入侵检测系统评估 第6章 入侵检测系统评估 6.1 入侵检测系统的主要性能参数 6.2 入侵检测系统评估标准 第6章 入侵检测系统评估 6.1 入侵检测系统的主要性能参数在对入侵检测系统的性能进行分析时，应重点考虑检测 的有效性、效率和可用性。有效性：研究检测机制的检测精确度和系统报警的可信 度，它是开发设计和应用IDS的前提和目的，是测试评估IDS的主要指标。效率：从检测机制处理数据的速度以及经济角度来考虑，侧重检测机制性能价格比的改进。 第6章 入侵检测系统评估 6.1.1 检测率、虚报率与报警可信度人们希望检测系统能够最大限度地把系统中的入侵行为与正常行为区分开来，这就涉及到入侵检测系统对系统正常 行为（或入侵行为）的描述方式、检测模型与检测算法的选择。如果检测系统不能够精确地描述系统的正常行为（或入侵行为），那么，系统必然会出现各种误报。如果检测系统 把系统的“正常行为”作为“异常行为”进行报警，这种情况就是虚报（FalsePositive）。如果检测系统对部分针对系统的入侵活动不能识别、报警，这种情况被称做漏报（ FalseNegative）。 第6章 入侵检测系统评估 1.检测率与虚报率可以用贝叶斯理论来分析基于异常性检测的入侵检测系统的检测率、虚报率与报警可信度之间的关系，并在此基础 上分析它们对异常性检测算法性能的影响。入侵检测问题可看做是一个简单的二值假设检验问题。 首先给出一系列相关的定义和符号：假设I与 I分别表示入侵行为和目标系统的正常行为，A代表检测系统发出入侵报警， A表示检测系统没有报警。检测率：被监控系统受到入侵攻击时，检测系统能够正 确报警的概率，可表示为P(A/I)。通常利用已知入侵攻击的实验数据集合来测试入侵检测系统的检测率。 第6章 入侵检测系统评估 虚报率：指检测系统在检测时出现虚报警的概率，可表 示为P(A/ I)。可利用已知的系统正常行为作为实验数据集，通过系统仿真获得检测系统的近似虚报率。另外，概率P( A/I)代表检测系统的漏报率，P( A/ I)则指目标系统正常（没有入侵攻击）的情况下，检测系统不报警的概率。显然有第6章 入侵检测系统评估 在实际应用中，主要关注的是一个入侵检测系统的报警结果能否正确地反映目标系统的安全状态。下面的两个参数 则从报警信息的可信度方面考虑检测系统的性能：P(A/I)给出了检测系统报警信息的可信度，即检测系统报警时，目标系统正受到入侵攻击的概率。P( A/ I)给出了检测系统未发出报警信息的可信度，即检测系统未报警时，目标系统未受到入侵攻击的概率。为使入侵检测系统更有效，系统的这两个参数的值越大越好。根据贝叶斯定理可以得出这两个参数的计算公式： （6.1） 第6章 入侵检测系统评估 同理： （6.2） 第6章 入侵检测系统评估 在实际应用过程中，检测率的好坏是由IDS的两个部分决定的。一是IDS的抓包能力，二是IDS的检测引擎。为了达到100的检测率，IDS首先要把需要的数据包全部抓上来，送给检测引擎。在网络流量相同的情况下，数据包越小 ，数据包的个数就越多，IDS的抓包引擎是对数据包一个一个进行处理的，因此数据包越小，抓包引擎能处理的网络流 量就越小。相比之下，数据包的大小对IDS检测引擎的影响程度较小，因为虽然检测引擎对每个数据包都要解析数据包头，但它同样要检测每个数据包的内容，总量是一样的，因此数据包的大小对检测引擎基本没有影响。 第6章 入侵检测系统评估 数据包抓上来之后，需要经过检测引擎的检测才能引发告警。在检测引擎的处理过程中，数据包的各种因素都会影 响检测引擎的效率。不同的IDS产品因为其检测引擎中对数据包的处理有侧重点，因此不同内容的背景数据流会严重影响产品的检测率。当通过不同内容的背景数据流，可以判断 出IDS检测引擎在某些方面的优劣。数据包中的数据内容也很关键，如果背景数据流中包含大量敏感的关键字，能引发 一种IDS产品告警，而对另一种IDS产品可能并不引发告警，这样的数据包内容就影响了引擎的效率。即使在不引发告警的条件下，背景数据流的数据内容也对检测引擎影响很大。 第6章 入侵检测系统评估 实际上IDS的实现总是在检测率和虚报率之间徘徊，检测率高了，虚报率就会提高；同样,虚报率降低了，检测率也就会降低。一般地，IDS产品会在两者中取一个折中，并且能够进行调整，以适应不同的网络环境。美国的林肯实验室用接收 器特性(Receiver Operating Characteristic,ROC)曲线来描述IDS的性能。该曲线准确刻画了IDS的检测率与虚报率之间的变化关系。ROC广泛用于输入不确定的系统的评估。根据一个IDS在不同的条件(在允许范围内变化的阈值，例如异常检测系统的报警门限等参数)下的虚报率和检测率，分别把虚报率和检测率作为横坐标和纵坐标，就可做出对应于该IDS的ROC曲线。ROC曲线与IDS的检测门限具有对应的关系。 第6章 入侵检测系统评估 在现实中，虚报不会引起什么危害，因为事件本身是一个正常的事件。虚报的坏处可能就是浪费了安全管理员的一些阅读和检查的时间；而漏报则是一个很严重的错误。实际上，漏报就等于入侵 事件没有被检测出来，对系统可能会引起很大的危害。通常来讲，如果一个系统的虚报越多，它的漏报就越少。反过来，如果虚报越少，漏报则可能会越多。这是因为，虚报越多表示入侵检测系统对事件的警觉程度越高，这样，它忽略入侵的事件造成漏报的可能性就越小。从检测技术的角度来看，入侵检测系统对事件的警觉程度越高意味着检测算法对入侵事件的约束条件越紧；如果虚报越少，表示入侵检测系统对事件的警觉程度越低，这样，它忽略入侵事件的可能性就越大，也就是说，入侵检测系统对事件的警觉程度越低，意味着检测算法对入侵事件的约束条件越宽松。所以，误用检测技术所造成的虚报并不高，但很可能会漏掉一些入侵事件，特别是新的入侵类型。 第6章 入侵检测系统评估 2.ROC曲线ROC曲线以图形方式来表示正确报告率和误报率的关系。ROC曲线是基于正确报告率和误报率的关系来描述的。这样的图称为诺模图（Nomogram），它在数学领域用于表示数字化的关系。选好一个临界点（CutoffPoint）之后，就可以从图中确定IDS的正确报告率和误报率。曲线的形状直接反映了IDS产品的准确性和总体品质。如果一条直线向上，然后向右方以45角延伸，就是一个非常失败的IDS，它毫无用处；相反，ROC曲线下方的区域越大，IDS的准确率越高。如图6.1所示，IDSB的准确性高于IDSC，类似地，IDSA在所有的IDS中具有最高的准确性。 第6章 入侵检测系统评估 图6.1 ROC曲线第6章 入侵检测系统评估 在测试评估IDS的具体实施过程中，除了要IDS的检测率和虚报率之外，往往还会单独考虑与这两个指标密切相关的一些因素，比如能检测 的入侵特征数量、IP碎片重组能力、TCP流重组能力。显然，能检测的入侵特征数量越多，检测率也就越高。此外，由于攻击者为了加大检测 的难度甚至绕过IDS的检测，常常会发送一些特别设计的分组。为了提高IDS的检测率，降低IDS的虚报率，IDS常常需要采取一些相应的措施，比如IP碎片能力、TCP流重组。由于分析单个的数据分组会导致许多误报和漏报，所以IP碎片的重组可以提高检测的精确度。IP碎片重组的评测标准有三个性能参数:能重组的最大IP分片数、能同时重组的IP分组数、能进行重组的最大IP数据分组的长度。TCP流重组是为了对完整的网络对话进行分析，它是网络IDS对应用层进行分析的基础，如检查邮件内容和附件、检查FTP传输的数据、禁止访问有害网站、判断非法HTTP请求等。这些因素都会直接影响IDS的检测可信度。 第6章 入侵检测系统评估 6.1.2 抗攻击能力和其它系统一样，IDS本身也往往存在安全漏洞。若对IDS攻击成功，则直接导致其报警失灵，入侵者在其后所作的行为将无 法被记录，因此IDS首先必须保证自己的安全性。IDS本身的抗攻击能力也就是IDS的可靠性，用于衡量IDS对那些经过特别设计直接以IDS为攻击目标的攻击的抵抗能力。它主要体现在两个方面：一是程序本身在各种网络环境下能够正常工作；二是程序各个模块之间的通信能够不被破坏，不可仿冒，此外要特别考虑抵御 拒绝服务攻击的能力。如果IDS本身不能正常运行，也就失去了它的保护意义。而如果系统各模块间的通信遭到破坏，那系统的报警之类的检测结果也就值得怀疑，应该有一个良好的通信机制保证模块间通信的安全并能在出问题时能够迅速恢复。 第6章 入侵检测系统评估 6.1.3 其它性能指标1.延迟时间检测延迟指的是在攻击发生至IDS检测到入侵之间的延迟时间。延迟时间的长短直接关系着入侵攻击破坏的程度。2.资源的占用情况资源的占用情况是指系统在达到某种检测有效性时对资源的需求情况。通常，在同等检测有效性的前提下，对资源 的要求越低，IDS的性能越好，检测入侵的能力也就越强。 第6章 入侵检测系统评估 3.负荷能力IDS有其设计的负荷能力，在超出负荷能力的情况下，性能会出现不同程度的下降。比如，在正常情况下IDS可检测到某攻击,但在负荷大的情况下可能就检测不出该攻击。考察检测系统的负荷能力就是观察不同大小的网络流量、不 同强度的CPU内存等系统资源的使用对IDS的关键指标（比如检测率、虚警率）的影响。 第6章 入侵检测系统评估 4.日志、报警、报告以及响应能力日志能力是指检测系统保存日志的能力,按照特定要求选取日志内容的能力。报警能力是指在检测到入侵后，向特权部件、人员发送报警信号的能力以及在报警中附加信息的能力。报告能力是指产生入侵行为报告、提供查询报告、创建和保存报告的能力。响应能力是指在检测到入侵后进一步处理的能力，这包括阻断 入侵、跟踪入侵者、记录入侵证据等。5.系统的可用性系统的可用性主要是指系统安装、配置、管理、使用的方便程度，系统界面的友好程度，攻击规则库维护的简易程度等方面 。 第6章 入侵检测系统评估 6.检测范围通常情况下，一个IDS能检测到的攻击是有一定范围的。检测范围的考察，就是在一定的攻击分类标准下，考察IDS对不同类型攻击的检测能力。由此可以看出，IDS是个比较复杂的系统，对IDS进行测试和评估不仅和IDS本身有关，还与应用IDS的环境有关。测试过程中涉及到操作环境、网络环境、工具、软件、硬件等方面，既要考虑入侵检测的效果如何，也要考虑应用该系统后它对实际系统的影响，有时要折中考虑这两种因素。综合起来，入侵检测系统性能的参数主要有：检测率、虚报率、漏报率、不报率等，从而可以由此计算出检测系统报警信息的可信度。 第6章 入侵检测系统评估 6.2 入侵检测系统评估标准6.2.1 准确性（Accuracy）准确性指入侵检测系统能在各种行为中正确地检测出系统入侵活动的能力。当一个入侵检测系统的检测不准确时，它就可能把系统中的合法活动当作入侵行为并标识为异常（ 虚警现象）。准确性主要是指研究检测机制的精确度和系统检测结果的可信度。准确性包含几个指标，即报警准确度（又称检测率、灵敏度）、误警率、检测可信度。这些指标既是开发和 应用IDS的前提和目的，又是测试评估的主要指标。其中， 第6章 入侵检测系统评估 具备较高的报警准确率是IDS的关键，是否智能、准确地报告非法入侵行为成为衡量一个入侵检测产品优劣的首要内容。误警率指错误报警或未报警的比率，包括虚警率和漏报率，其中， 报警准确率和误警率是衡量IDS效率的两个重要指标。误警率和漏报率应尽量低。检测可信度指某一次报警是真实的报警（正确检测）的概率，反映的是检测系统检测 结果的可信程度，也是IDS的重要指标，其取值与报警的次数、报警已逝去的时间等都有关系。 第6章 入侵检测系统评估 评估IDS的准确性除了要考察以上指标外，还应该单独考虑如下指标（但这些指标并不仅仅只反映IDS的准确性）：是否支持事件特征自定义、是否支持多级分布式结构和事 件归并