大数据驱动的威胁情报技术优化及验证- - -需求规格说明书.精品资料运营商大数据驱动的威胁情报技术优化及验证 -开发需求说明书中国电信上海研究院2018 年 1 月.精品资料修订记录日期说明作者.精品资料目录.精品资料1 引言1.1 编写目的本文档用于阐明运营商大数据驱动的威胁情报技术优化及验证项目的体系架构、总体设计方案、功能需求以及本平台开发目标，开发环境等。该需求说明书的读者为运营商大数据驱动的威胁情报技术优化及验证项目的设计与开发人员。1.2 项目背景网络安全态势日趋复杂，新型攻击手段层出不穷，电信海量数据中存在的威胁不断增加，威胁情报检测平台也应朝着细粒度、完整性、准确性方向发 展。16 年开发的运营商大数据驱动的威胁情报原型系统已具备对僵尸网络、钓鱼网站、 SQL 注入等威胁情报检测能力，但是检测威胁类型较少，且由于数据源类型较少对威胁情报的检测仍存在覆盖面不广、深入性不足、准确性不高等问题。本项目在去年院长基金项目所形成的原系统基础上，接入更多的电信管道数据，运用数据分析、深度学习算法等建立模型，挖掘出更丰富、更全面威胁情报，建立更加健壮的威胁检测平台，强化威胁感知，提升信息安全。.精品资料1.3 缩略语XSS跨站脚本攻击HDFS Hadoop Distributed File System2 平台概述2.1 平台描述运营商大数据驱动的威胁情报技术优化及验证平台实现海量信息的采集、预处理、存储、安全分析、呈现等能力，通过从网络侧部署的DPI 设备中采集DPI 数据等信息，基于Hadoop平台的分布式存储与计算框架，进行建模分析僵尸网络、 Web攻击等安全事件及数据间关联关系，实现对网络安全状况的深度感知，为网络运营管理提供可视化的安全分析工具。2.2 平台功能平台将主要包括如下功能：运营商大数据驱动的威胁情报技术优化及验证平台实现海量信息的采集、预处理、存储、安全分析、呈现等能力，通过从网络侧部署的DPI 设备中采集 DPI 数据等信息，基于Hadoop 平台的分布式存储与计算框架，进行建模分析僵尸网络、 Web 攻击、 Url 欺诈等安全事件及数据间关联关系， 实现对网络安全状况的深度感知，为网络运营管理提供可视化的安全分析工具。.精品资料平台包括的主要功能概述如下： 僵尸网络检测：基于DPI 数据进行特征提取、建模分析，实现CC 控制端、恶意 URL 的检测、统计分析和展示等功能。 Web 入侵攻击状态检测：通过对DPI 数据等数据的深入挖掘，提供SQL注入攻击、 XSS 跨站脚本攻击等Web 入侵攻击的分析、统计、展示等功能。 Url 欺诈检测：略通过对DPI 数据等的分析检测、提供对各种Url 欺诈（包括钓鱼网站等）的检测、统计、展示等功能。系统管理：提供用户登录界面，根据用户角色的不同，为用户呈现不同的可视化用户界面。 检测模型管理：导入新的训练数据和测试数据，改变模型的参数后，重新生成新的检测模型。知识库管理：增 /删/查 SQL 注入攻击样本，手动 /自动爬取 SQL 注入攻击样本。2.3 开发环境软件环境：开发平台、语言Eclipse开发平台Python 语言操作系统Linux计算平台Hadoop(包含 HDFS/MapReduce)深度学习框架TensorFlowWeb 服务器Tomcat.精品资料数据库MySQL浏览器IE/Firefox/Chrome 等常见的浏览器2.4 一般约束在系统设计时主要应考虑与其它系统在数据上的兼容性、安全性、可靠性等，并需体现某些先进的管理理念。3 架构及技术要求3.1 平台架构及系统流程技术要求威胁情报技术优化与验证平台采用分层架构，自下而上分为数据采集层、数据存储层、数据计算分析层、数据呈现层，具体架构如下图所示：.精品资料现 数Web系统安全态势视图平台逻辑架构僵尸网络URL欺诈态势视图层 据SQL注入XSS攻击呈分析视图钓鱼网站十进制 IP 欺骗特殊标志欺骗据数Web安全状态分析模块计僵尸网络分析模块URL欺诈分析模块算SQL注入分分析析层XSS攻击分析CC控制端分析钓鱼网站分析十进制 IP 欺骗分析特殊标志欺骗分析存 数储 据DPI数据层采集数据HDFSWeb安全状态分析用数据僵尸网络分析用数据 URL欺诈分析用数据MySQL分析结果数据Web应用层安全数据CC控制端统计URL欺诈统计数据预处理过滤脱敏标准化数据采集接口FTP数据采集层数对 据DPI数据象 采集数据DPI （ IDC出口）源图 3-1 威胁情报技术优化与验证平台系统逻辑架构其中数据采集层通过数据采集接口实现信息采集，并对采集的数据进行过 滤、脱敏、标准化等预处理，数据采集来源包括DPI 设备，数据采集对象包括DPI 数据等信息。数据存储层利用分布式文件系统HDFS，实现对采集到的原始DPI 数据等海量安全基础信息的长期存储；同时根据不同检测需要的字段不同，将其分别存储到服务器中；并基于关系型数据库，实现对采集到的攻击统计等结果数 据，进行存储管理。.精品资料数据计算分析层基于Mapreduce等计算平台，通过对分布式存储数据的特 征提取、深度学习分析等安全事件挖掘能力，实现Web 安全状况分析、僵尸网络分析、 URL 欺诈分析等功能，及时发现大网及客户网络的异常及非法网络行为。数据呈现层基于大数据分析技术和数据可视化技术，为运维人员提供Web安全状况等可视化视图。3.2 数据采集层技术要求3.2.1 数据采集层技术要求3.2.1.1数据采集接口技术要求数据采集层支持从FTP 服务器下载数据文件，并对数据进行预处理后将处理后的数据及元数据分别存储到数据存储层。3.2.2 采集数据类型及格式要求采集数据包括 DPI 数据：.精品资料3.3 数据存储层技术要求数据存储是大数据安全分析平台的基础，主要用于对海量DPI 等数据进行存储。针对数据存储模块，应满足以下要求：?具备结构化、非结构化海量数据的存储能力；?应支持分布式架构及高可用保证，确保数据存储不出现单点故障。数据类型存储方式备注DPI 数据HDFS格式数据量非常大，采用数据库系统很难满足数据查询和检索要求，可采用HDFS格式。预处理后的数据文件便于第三方获取3.4 数据计算分析技术要求大数据安全分析平台的计算分析层应提供分布式计算、流式计算等计算平台，以及机器学习能力、复杂事件分析能力、并行分析能力以及客户报表分析能力。3.4.1 分布式计算能力能够根据定制的分析算法对存储在文件中的数据进行分布式计算与检索， 应提供 Mapreduce 等分布式计算平台。3.4.2 深度学习能力应提供适用的深度学习算法，可基于TensorFlow 等框架进行开发。.精品资料3.4.3 快速检索查询能力应提供基于威胁情报各个字段的快速查询与综合检索能力。3.5 数据呈现层技术要求运营商大数据驱动的威胁情报技术优化及验证平台是各类威胁情报的集中呈现界面，应具备以下功能：?应实现权限管理，可根据登录人员的权限分别显示不同的界面。?应提供威胁情报的列表显示功能，并可根据威胁种类、源IP 、目的IP、URL和 UTC时间等等统计各威胁发生次数。4 僵尸网络检测模块功能需求僵尸网络检测模块主要从DPI 数据中获取网络异常流量/ 行为，通过深度学习算法，检测出僵尸网络，并进行