安徽互联网监测系统建设方案v10现状与需求互联网信息传递现状业务需求建设方案功能规划业务目标投资预算目录纲要系统方案投资预算2扫描和检索不法信息和舆情传播扫描和检索不法信息和舆情传播 实时扫描和采集互联网信息，进行处理分析，防止反动、色情等信息及不良舆情的传播。同时支持原数据搜索引擎功能信息扫面检索网页论坛博客空间等反动言论色情信息非法聚会其他信息等p特点：特点：n采用实时主动采集和爬虫定向抓取相结合的模式，信息扫面双保险n自定义采集目标、更新时间及扫描间隔n支持多种网页格式静态网页(HTML/HTM/SHTML)和动态网页(ASP/PHP/JSP)等实时采集和实时采集和元搜索引擎元搜索引擎功能功能9热点及敏感话题识别热点及敏感话题识别 根据信息出处权威度、发言时间密集程度等参数，利用合理的文本挖掘算法，结合权重分析，识别给定时间段内的热门话题和媒体关注焦点，同时识别敏感话题。p特点：特点：n具有网页内容自动学习分析能力，过滤如广告及版权等非主体内容n从多维度进行分析，利用文本挖掘算法等分析方法，有效区分信息标题、内容及不法和敏感主题召集令;于X月X日在XX广场集聚抗议XXX10敏感话题和舆情信息预警敏感话题和舆情信息预警 系统扫面到涉赌、涉黄等站点、对突发事件、涉及内容安全的敏感话题及非法言论传递等信息及时发现并告警，并提供相应处理预案。p特点：特点：n及时预警，提供处理预案n支持短信、邮件、弹窗等预警方式。出现预警！出现预警！11对检索和扫描的相关信息生成统计表对检索和扫描的相关信息生成统计表 系统提供信息检索功能：通过分析引擎处理后生成报告，用户可通过前台览，根据指定条件对非法站点、热点话题、倾向性进行查询，并浏览信息的具体内容，提升决策支撑能力。p特点：特点：n通过图表直观展现n支持关键词模糊匹配，避免遗漏违规情况n查一个元搜索引擎就相当于查多个独立搜索引擎关注度舆情关注度统计舆情关注度统计单位：人单位：人12趋势分析趋势分析 对于非法主题，系统提供在特定时间内的确实分析功能，有效掌握相关时间的发展情况及关注程度，以评估事件处理效果，提供更好的舆论引导。p特点：特点：n支持从时间、区域、舆情变化趋势的预测和引导效果的评估n精确掌握并预测非法信息的关注的变化趋势“XXXXXXXXXX”舆情关注度变化分析舆情关注度变化分析关注度趋势线关注人数13页面拍照和内容摘要页面拍照和内容摘要 系统支持页面拍照功能，并对各类主题，各类倾向能够形成自动摘要，以更好的支撑调查取证和研判。p特点：特点：n具有海量存储功能，支持页面拍照，相关页面存储起来。n自动摘要并存储文本14数据采集方式数据采集方式 互联网信息监测方案的数据采集采用在骨干网上旁路分流的模式，利用分光器将骨干网流量分流复制到采集器，进行数据采集。此方式优点：n部署方便，对网络的干扰和影响小n具有良好的扩展性，可按需部署n升级扩容方便骨干网上游路由器骨干网下游路由器InternetGE链路采集器分光器15系统架构系统架构原数原数据层据层数据数据处理处理层层应应用用层层业业务务层层数据库数据其他数据数据切词网络爬虫光口采集自动分类自动聚类文本挖掘信息过滤相似性检索统计分析数据整理数据存储匹配全文检索子系统文本挖掘子系统统计分析子系统告警子系统信息上报子系统权限管理子系统信息检索热点查询分析热点追踪目标跟踪敏感度分析信息来源分析信息预警信息上报预案子系统处理预案分析关键词库url库论坛新闻博客微薄网页数据其他互联网信息监测系统架构互联网信息监测系统架构16网络拓扑图网络拓扑图Internet分光器关键词库url库磁盘整列分析处理服务Web统计服务器爬虫Internet数据库服务器匹配本系统数据来源方面，采取主动采集数据和爬虫主动爬去的方式进行。主动采集是利用分光器在骨干网节点进行用户数据采集，爬虫服务器择把其直接接入互联网，按照规则进行数据爬去，从而有效的补充监测信息的完整性，防止“盲点”出现，同时也减少采集和解析压力，降低硬件投入。骨干网节点采集器清洗、解析服务器17关键技术关键技术n强大的信息采集和数据处理能力强大的信息采集和数据处理能力p采用在骨干网用户数据采集及爬虫抓取的大而全的采集模式p定时监控，分钟级采集p平均单机处理达到TB级别数据处理能力，被监控网站所发布的新内容，几分钟内就可被系统获取。n积累了海量的地址库和词库积累了海量的地址库和词库p我们通过平常的采集和沉淀，已经十万级词库库量和百万级地址库p同时具有很强的学习更新能力n自动关键词和自动摘要技术自动关键词和自动摘要技术p基于内容的文本自动分类p基于规则的文本分类p基于相似性算法的自动聚类技术，自动对海量的无类别文档进行归类，把内容相近文档归为一类，并自动为其生成主题词，为确定类目名称提供方便。n自动关键词和自动摘要技术自动关键词和自动摘要技术p将传统的全文检索技术与最新的WEB搜索技术相结合，大大提高检索引擎的性能指标。同时融合了多种相关技术，提供丰富的检索手段以及同义词等智能检索方式。18现状与需求互联网信息传递现状业务需求建设方案功能规划业务目标投资预算目录纲要系统方案投资预算19硬件投资预算硬件投资预算 设备类型设备类型 设备设备 数量数量 单价单价 总价总价 备注备注数据收敛分光器4￥10,000￥40,000光采集器光采集4￥20，000￥80,000解析服务器服务器16￥20,000￥320,000数据清洗服务服务器2￥20,000￥40,000数据存储服务磁盘阵列1￥250,000￥250,000数据处理服务服务器2￥20,000￥40,000统计及Web服务服务器2￥20,000￥40,000 合计￥1,630,00020Thank YouThank You！21结束语结束语谢谢大家聆听！谢谢大家聆听！22