互联网监测系统建设方案- 2现状与需求互联网信息传递现状业 务 需 求建设方案功 能 规 划业 务 目 标投资预算目 录 纲 要 系 统 方 案 投 资 预 算- 3互联网信息发展现状互联网发展已经进入快车道，当前，各种业务应用呈现出繁花似锦的景象， 给人们的信息和知识的传递和分享了极大的便捷。check-in网页微博QQ和飞信等facebook应用形式 繁多论坛和博客- 4政治文化经济 影响投资环境 阻碍经济发展 破坏社会信息环境情色低俗文化传播如今，互联网已经成为人们传递信息的最快速、最便捷、最有效的途径，同 时，也滋生了不法个人和团体用来宣传和传递非法信息工具（如新疆7.5事件就 是通过论坛发起的），在经济、文化、政治方面产生了严重的影响。 扰乱社会治安影响民族团结 破坏社会稳定危害国家安全互联网的快速发展滋生了负面信息传递泛滥- 5基于现状，互联网内容信息监管部门任重道远，需要采用尽可能有效的方式 去监测并屏蔽、预警相关内容信息。以净化信息环境和投资环境，维护社会稳定 ，促进经济和社会发展。业务需求业务需求提升互联网信息监 管能力营造良好的 社会和经济 环境监测、预警 不法互联网 信息传递- 6现状与需求互联网信息传递现状业 务 需 求建设方案功 能 规 划业 务 目 标投资预算目 录 纲 要 系 统 方 案 投 资 预 算- 7业务目标互 联 网 信 息 监 测 系 统生成舆情统计报告，并对舆情主题 进行跟踪及趋势分析通过实时检索互联网信息，及时发 现不良、不法信息的传播并进行及 时预警和引导提高互联网监测的智能化程度，增 强互联网信息的监管力度业务目标- 8总体功能规划互联网信息监测系统具有强大网页信息数据检索、抓取能力，依托其精细化 的舆情及不法信息分析、跟踪功能，是提升互联网信息监管能力的有效手段,帮助 各级领导战略决策提供依据。 13542p 检索不法信息和舆情传播p 热点及敏感话题识别p 敏感和舆情信息预警p 对检索和扫面的相关信 息生成统计报表p 页面拍照和内容摘要p 趋势分析- 9扫描和检索不法信息和舆情传播实时扫描和采集互联网信息，进行处理分析，防止反动、色情等信息及不良 舆情的传播。同时支持原数据搜索引擎功能信息扫面 检索网页论坛博客空间等反动言论色情信息非法聚会其他信息等p 特点：n 采用实时主动采集和爬虫定向抓取相结合的模式，信息扫面双保险 n 自定义采集目标、更新时间及扫描间隔 n 支持多种网页格式静态网页(HTML/HTM/SHTML)和动态网页(ASP/PHP/JSP)等实时采集和 元搜索引擎 功能- 10热点及敏感话题识别根据信息出处权威度、发言时间密集程度等参数，利用合理的文本挖掘算法 ，结合权重分析，识别给定时间段内的热门话题和媒体关注焦点，同时识别敏感 话题。p 特点：n 具有网页内容自动学习分析能力，过滤如广告及版权等非主体内容 n 从多维度进行分析，利用文本挖掘算法等分析方法，有效区分信息标题、内容及 不法和敏感主题召集令;于X月X日 在XX广场集聚抗 议XXX- 11敏感话题和舆情信息预警系统扫面到涉赌、涉黄等站点、对突发事件、涉及内容安全的敏感话题及非 法言论传递等信息及时发现并告警，并提供相应处理预案。p 特点：n 及时预警，提供处理预案 n 支持短信、邮件、弹窗等预警方式。出现预警！- 12对检索和扫描的相关信息生成统计表系统提供信息检索功能：通过分析引擎处理后生成报告，用户可通过前台览 ，根据指定条件对非法站点、热点话题、倾向性进行查询，并浏览信息的具体内 容，提升决策支撑能力。p 特点：n 通过图表直观展现 n 支持关键词模糊匹配，避免遗漏 违规情况 n 查一个元搜索引擎就相当于查多 个独立搜索引擎关注度舆情关注度统计单位：人- 13趋势分析对于非法主题，系统提供在特定时间内的确实分析功能，有效掌握相关时间 的发展情况及关注程度，以评估事件处理效果，提供更好的舆论引导。p 特点：n 支持从时间、区域、舆情变化趋势的预测和引导效果的评估 n 精确掌握并预测非法信息的关注的变化趋势“XXXXX”舆情关注度变化分析关注度趋势线关 注 人 数- 14页面拍照和内容摘要系统支持页面拍照功能，并对各类主题，各类倾向能够形成自动摘要，以更 好的支撑调查取证和研判。p 特点：n 具有海量存储功能，支持页面拍照，相关页面存储起来。 n 自动摘要并存储文本- 15数据采集方式互联网信息监测方案的数据采集采用在骨干网上旁路分流的模式，利用分光器将骨干网流量分流复制到采集器，进行数据采集。此方式优点：n 部署方便，对网络的干扰和影响小n 具有良好的扩展性，可按需部署n 升级扩容方便骨干网上游路由器骨干网下游路由器InternetGE链路采集器分光器- 16系统架构原数 据层数据 处理 层应 用 层业 务 层数据 库数 据其他 数据数据切词网络爬虫光口采集自动分类自动聚类文本挖掘信息过滤相似性检索统计分析数据整理数据存储匹配全文检索子系统文本挖掘子系统统计分析子系统告警子系统信息上报子系统权限管理子系统信息检索热点查询分析热点追踪目标跟踪敏感度分析信息来源分析信息预警信息上报预案 子系 统处理预案分析关键词库 url库论 坛新 闻博 客微 薄网页数据其 他互联网信息监测系统架构- 17网络拓扑图Internet分光器关键词库 url库磁盘整列分析处理服务Web统计服务器爬虫Internet数据库服务器匹配本系统数据来源方面，采取主动采集数据和爬虫主动爬去的方式进行。主动采集是利用分光器在骨干网节点进行用户数据采集，爬虫服务器择把其直接接入互联网，按照规则进行数据爬去，从而有效的补充监测信息的完整性，防止“盲点”出现，同时也减少采集和解析压力，降低硬件投入。骨干网节点采集器清洗、解析服务器- 18关键技术n 强大的信息采集和数据处理能力p 采用在骨干网用户数据采集及爬虫抓取的 大而全的采集模式 p 定时监控，分钟级采集p 平均单机处理达到TB级别数据处理能力，被监控网站所发布的新内容，几分钟内就可被系统获取。n 积累了海量的地址库和词库p 我们通过平常的采集和沉淀，已经十万级词库库量和百万级地址库p 同时具有很强的学习更新能力n 自动关键词和自动摘要技术 p 基于内容的文本自动分类 p 基于规则的文本分类p 基于相似性算法的自动聚类技术，自动对海量的无类别文档进行归类，把内容相近文档归为一类，并自动为其生成主题词，为确定类目名称提供方便。n 自动关键词和自动摘要技术p 将传统的全文检索技术与最新的WEB搜索技术相结合，大大提高检索引擎的性能指标。同时融合了多种相关技术，提供丰富的检索手段以及同义词等智能检索方式。- 19现状与需求互联网信息传递现状业 务 需 求建设方案功 能 规 划业 务 目 标投资预算目 录 纲 要 系 统 方 案 投 资 预 算- 20硬件投资预算设备类型 设备 数量 单价 总价 备注数据收敛分光器4￥10,000￥40,000 光采集器光采集4￥20，000￥80,000解析服务器服务器16￥20,000￥320,000 数据清洗服务服务器2￥20,000￥40,000 数据存储服务磁盘阵列1￥250,000￥250,000 数据处理服务服务器2￥20,000￥40,000 统计及Web服务服务器2￥20,000￥40,000 合计 ￥1,630,000 - 21