第六章基于主机的入侵检测技术入侵检测与安全扫描基于主机的入侵检测技术HIDSHost-based Intrusion Detection SystemPhase 3: Attack/Control ResourcesPassword attacks Privilege grabbing Trojan Horse Vandalism Audit Trail Tampering Admin Changes TheftInternetInternetPhase 2: Penetrate Perimeter App. Attack Spoofing Protocol exploitsDenial of ServicePhase 1: Discover & Map Scanning & probingAutomated黑客入侵的过程和阶段Phase 3InternetInternetNetwork IDSHost IDSPhase 2Phase 1黑客入侵的过程和阶段入侵检测与安全扫描InternetInternet基于主机入侵检测系统工作原理网络服务器1客户端 网络服务器2X检测内容： 系统调用、端口调用、系统日志、 安全审记、应用日志HIDSHIDSXHIDSHIDS入侵检测与安全扫描内容审计数据的获取审计数据的预处理入侵检测技术探讨HIDS的优缺点分析入侵检测与安全扫描内容 审计数据的获取2. 审计数据的预处理3. 入侵检测技术探讨4. HIDS的优缺点分析入侵检测与安全扫描审计数据的获取知识回顾：HIDS的数据源入侵检测与安全扫描审计数据的获取HIDS的数据源：系统状态信息（CPU, Memory, Network）系统日志记录审计信息（Audit）应用系统日志记录入侵检测与安全扫描审计数据的获取HIDS的结构入侵检测与安全扫描HIDS的结构主流的HIDS通常采取管理器/代理结构。在被重点检测的主机上运行代理程序； 在中央计算机上运行管理器程序。代理程序与管理器程序之间通过网络进 行通信。这种结构又称作是分布式的数据获取结 构。入侵检测与安全扫描IDS的结构集中式处理：原始数据在分析之前 要先发送到中央位置。分布式处理：原始数据在目标系统 上实时分析，只有告警信息被发送给 控制台。入侵检测与安全扫描基于主机代理的DIDS分布式入侵检测系统主机 Agent入侵检测与安全扫描集中式检测的优缺点优点：不会降低目标机的性能多主机标志、用于支持起诉的原始数据缺点：不能进行实时检测不能实时响应影响网络通信量入侵检测与安全扫描分布式检测的优缺点优点： 实时检测实时响应 缺点： 降低目标机的性能没有多主机标志没有用于支持起诉的原始数据入侵检测与安全扫描审计数据的获取1.HIDS的结构2.数据获取的两种方法： 直接监测 间接监测入侵检测与安全扫描直接监测 从数据产生或从属的对象直接获 得数据。 如：为了直接监测主机CPU的负 荷，必须直接从主机相应内核的结构 获得数据。入侵检测与安全扫描间接监测 从反映被监测对象行为的某个 源获得数据。 间接监测主机CPU的负荷可以 通过读取一个记录CPU负荷的日志 文件获得。入侵检测与安全扫描两种方式比较直接监测要好于间接监测：间接数据源的不安全性；间接数据源的不完整性；间接数据源的读取时延问题。入侵检测与安全扫描内容审计数据的获取审计数据的预处理入侵检测技术探讨HIDS的优缺点分析入侵检测与安全扫描内容审计数据的获取 审计数据的预处理3. 入侵检测技术探讨4. HIDS的优缺点分析入侵检测与安全扫描知识回顾IDS的数据流程图入侵检测与安全扫描进行数据预处理的必要性系统审计数据的信息量大（海量）；系统审计数据的杂乱性；系统审计数据的重复性；系统审计数据的不完整性。入侵检测与安全扫描审计数据的预处理数据采集模块捕获的原始数据并不理想 ，需要在被检测模块使用之前进行有效的 归纳、统一格式、转换和处理。审计数据的预处理：对数据采集模块获 取到的各种相关数据进行归纳、转换等处 理，使其符合IDS系统的需求。入侵检测与安全扫描举例不完整（空缺数据） 有遗漏的属性值 不干净（噪声数据） 包括例外和错误的数据 工资=-20不统一（数据不一致） 年龄=42 但出生日期为1984/07/23提高数据质量，提高检测的准确度入侵检测与安全扫描数据预处理的功能通常数据预处理应该包括以下功能：l 数据集成l 数据清理l 数据变换l 数据简化l 数据融合入侵检测与安全扫描数据预处理功能数据集成数据集成 将不同数据源的数据合并到一起发现和解决数据值冲突问题 对同一个实体，不同数据源的值可能不同 如：标度单位（英制、米制）去除相同的和冗余的数据入侵检测与安全扫描数据预处理功能数据清理填充空缺数据对噪声进行处理解决数据不一致的问题解决数据集成引起的重复值问题入侵检测与安全扫描如何处理空缺数据v忽略该属性v手工填充v自动填充v固定值v均值v发现最可能的属性值（如：贝叶斯方法）入侵检测与安全扫描噪声数据随机错误或者是所测变量的偏差错误的属性值来自 数据收集机器故障 数据输入问题 数据转换问题入侵检测与安全扫描如何处理噪声数据分段处理方法 将数据排序并分为等长的小段 使用段内数据的均值、中间值或边界值对数据进 行平滑 聚类 发现并去除例外值 结合机器和人类的观察 自动发现可疑值并交给人们判断入侵检测与安全扫描数据预处理功能数据变换标准化：将数据调整到一个小的特定范围内入侵检测与安全扫描数据变换标准化最小-最大标准化z-score 标准化十进制标准化j 是最小的整数使 Max(| |)1入侵检测与安全扫描数据预处理功能数据约简数据约简（数据太大） 特征选取、特征提取 数据约简的目标 从数据中得到一个约简的表示但得到一样（或基 本一样）的分析结果 数据约简方法 维数缩减 去除不重要的属性 入侵检测与安全扫描数据预处理功能数据融合采用多种分析方法、多种检测机制进行 攻击行为的检测，并最终将它们的检测 结果进行融合和决策，有效地提高检测 系统的检测率，降低系统的虚报率。(a）数据集成(b）数据清理-2, 32, 100, 59, 48-0.02, 0.32, 1.00, 0.59, 0.48(c)数据变换A126 A2 A1 T1 T2 T2 000 A115 A2 A1 T1 T2 T1400 (d)数据简化/融合入侵检测与安全扫描预处理方法粗糙集理论基于粗糙集理论的约简法基于粗糙集理论的属性离散化属性的约简入侵检测与安全扫描粗糙集理论在很多实际系统中均不同程度地存在着 不确定性因素，采集到的数据常常包含着 噪声，不精确甚至不完整。粗糙集理论是处理不确定性的数学工具 。入侵检测与安全扫描内容审计数据的获取审计数据的预处理入侵检测技术探讨HIDS的优缺点分析入侵检测与安全扫描内容审计数据的获取审计数据的预处理 入侵检测技术探讨4. HIDS的优缺点分析入侵检测与安全扫描几个问题什么是IDS的自适应性基于完整性检测的IDS无法检测出 哪些攻击类别？什么是智能体？其特点是什么？什么是系统配置分析技术？入侵检测与安全扫描三个系统介绍AAFID系统STAT系统COPS系统入侵检测与安全扫描1. AAFIDAAFID：Autonomous Agents for Intrusion Detection分布式的、基于代理的技术Purpose of the AAFID Group入侵检测与安全扫描Purpose of the AAFID GroupWe address the problem of intrusion detection from a different angle: instead of a monolithic Intrusion Detection System (IDS) design, we propose a distributed architecture that utilizes small independent entities, known as Agents, to detect anomalous or malicious behavior. We think our design has advantages over other architectures in terms of scalability, efficiency, fault-tolerance, and configurability 入侵检测与安全扫描Purdue大学的 AAFID IDS模型监视器代理收发器代理基于代理的树形分层结构入侵检测与安全扫描2. STAT1995年设计实现；Koral Ilgun, Richard A. Kemmerer, Phillip A. Porras: State Transition Analysis: A Rule-Based Intrusion Detection Approach. IEEE Trans. Software Eng. 21(3): 181-199 (1995) 采用状态转移分析技术实现的。入侵检测与安全扫描3. COPSCOPS：Computer Oracle and Password System；（P96）采用系统配置分析技术的工具；可检测系统的漏洞并以邮件的形式通知 用户；COPS的检查方法为许多商业安全检测 软件所借鉴。入侵检测与安全扫描内容审计数据的获取审计数据的预处理入侵检测技术探讨HIDS的优缺点分析入侵检测与安全扫描内容审计数据的获取审计数据的预处理入侵检测技术探讨 HIDS的优缺点分析入侵检测与安全扫描HIDS的优缺点分析优点分析缺点分析入侵检测与安全扫描HIDS的优点误报率较低；适用于加密和交换的环境；对网络流量不敏感；确定攻击是否成功。入侵检测与安全扫描HIDS的缺点日志信息有限，入侵行为可能没有被完全地记 录下来；HIDS依赖于主机固有的日志与监视能力，而主 机审计数据存在弱点：易受攻击，导致入侵者 逃避审计；需要在主机上运行，占用系统资源；多数是事后的分析，实时性差；异构的平台支持困难。入侵检测与安全扫描HIDS产品赛门铁克的Intruder Alert入侵检测与安全扫描内容审计数据的获取审计数据的预处理入侵检测技术探讨HIDS的优缺点分析Thank you！