1 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division大数据时代改进和创新的 信令分析平台 EMC Data Computing Division2 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division提纲 信令分析平台数据处理和应用特点 信令分析平台面临的潜在问题和理想架构 信令分析数据平台架构建议方案 案例分享23 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division信令共享和分析平台涉及的数据层次架构数据分 析层多段关联 号码回填XDR合成 协议解析数据服 务层XDR转化XDR入库数据分发IE抽取XDR数据库数据组 织层 实时统计非实时统计KPI数据库报表数据库信令数据采集平台 无线、CS、PS、IMS共平台信令采 集层MC,A,Abis,Iu-b,Iu-CS,Iu- PS,LSTP,HSTP,HLR,关口局信令监测规范信令监测系统新架构业务应 用层网络优化客户感知网络质量实时监控 客户投诉 会话跟踪 增值应用4 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division海量信令数据处理过程数据分类管理，系统分层处理，分布存储，并行访问，高效索引，科学有效的海量数据管理策略原 始 信 令 数 据x D R 数 据统 计 数 据聚 合 报 表系 统 应 用信息提炼信息分类价值评估信息应用数据服务数据应用 数据组织数据分析信令采集海量原始信令数据采用 分布式处理分布式存储 ，有效减小系统压力。xDR数据提取关键数 据，同时压缩后传输 存储，减小传输存储 压力。通过信息分类后，统计数据量进一步减少。报表数据量几乎 与原始信令数据 量无关，只与定 制报表数量有关保证数据快 速查询，实 时呈现，灵 活应用。5 Copyright 2011 EMC Corporation. All rights reserved.Data Computing DivisionDB海量信令数据分级、分类存储关系原 始 信 令 数 据x D R 数 据统 计 数 据聚 合 报 表系 统 应 用原始信令存储，一 般为文件处理和存 储，压缩比例一般 为50%，历史信令 反查由于解压缩产 生额外50ms的时延原始信令-xDR数据 ，一般是原始信令 的1/4-1/8数据量， 一般分为库内近期 数据存储和库外历 史数据存储，库内 存储便于xDR的反查 和基于xDR生成基础 统计数据统计数据，一般仅是 xDR数据的1/10数据量 ，以数据库形式保存， 以便处理复杂的管理和 查询需求汇总报表数据，一般是 统计层数据的1/10数据 量，以数据库形式保存文件存储数据库存储6 Copyright 2011 EMC Corporation. All rights reserved.Data Computing DivisionDB海量信令数据分级、分类存储关系原 始 信 令 数 据x D R 数 据统 计 数 据聚 合 报 表系 统 应 用原始信令存储，一 般为文件处理和存 储，压缩比例一般 为50%，历史信令 反查由于解压缩产 生额外50ms的时延原始信令-xDR数据 ，一般是原始信令 的1/4-1/8数据量， 一般分为库内近期 数据存储和库外历 史数据存储，库内 存储便于xDR的反查 和基于xDR生成基础 统计数据统计数据，一般仅是 xDR数据的1/10数据量 ，以数据库形式保存， 以便处理复杂的管理和 查询需求汇总报表数据，一般是 统计层数据的1/10数据 量，以数据库形式保存文件存储数据库存储7 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division信令数据适用的场景日常维护专题 公共安全、欺诈专题 群体路径追踪（如犯罪团伙发现，基于时间点进行 位置采样，进行路径相似度计算） 基于地图的群体移动性应用（如交通流量监测、突 发集会等） 位置应用专题 Abis, A接口(三角定位) LBS应用 增强的商业智能 呼叫模式识别 SNA on CDR/TDR分析8 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division应用场景1：信令数据深度应用客 户 行 为 研 究客 户 细 分 识 别精 确 营 销贴 心 服 务p 对管道的智能化分析p 对网络和客户流量特征的分析p 对产品的分析和辅助优化客 户 分 析 类 需 求业 务 和 产 品 分 析 需 求需要丰富的数据u在公司领导“智能管道”和“客户为根、服务为本”的要求下，充分发挥数据关联分析的优势，助力企业的转型和精细管理。9 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division应用场景2：通过信令信息来刻画客户交往群客户交往群划分核心圈：具备两两通话关系的一组 通话圈体 通过对历史的话单、短信、彩信等 通信行为的挖掘和分析，发现客户 的通信指纹和客户交往群划分（家 庭交往群、工作时段交往群等） 交往群网可以被扩展到亲亲、朋 友、同事等不同模式10 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division信令分析平台特点：海量数据、高IO吞吐 带宽 与 业务处理模式 针对10TB数据的业务分析10 TB1 GB/sec10 GB/sec100 GB/sec数据带宽180分钟钟/Query周报报/月报报，报报表能力17分钟钟/Query隔日出结结果的分析1.7分钟钟/Query商业业智能，即席分析11 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division提纲 信令分析平台数据处理和应用特点 信令分析平台面临的潜在问题和理想架构 信令分析数据平台架构建议方案 案例分享1112 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division问题问题1 1：统一数据管理和个性化应用需求的矛盾：统一数据管理和个性化应用需求的矛盾统、分兼顾统、分兼顾1212地市级网络维护地市级需求旺盛、 各地市业务差异不同的需求级别业务指标差异营销和服务多样化， 导致对信令需求不同统一化管理需求差异化业务需求统一基础平台统一数据模型统一处理逻辑统一需求评估和确定统一应用开发和部署分统13 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division问题2：海量数据面临的高成本和扩展性问题1PB2PB= 海量数据由于压缩比低，需要大量的存储 大量的存储需要大量的机房、供电、制冷、维护 极大的投资和运维成本14 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division信令平台理想架构：形成信令平台理想架构：形成“ “数据库云数据库云” ” 和和“ “信息服务云信息服务云” ” 分布式数据采集和预处理解决信令数据分布式数据采集和预处理解决信令数据XDRXDR合成和预处理；统一数据共享层解决共享数据合成和预处理；统一数据共享层解决共享数据 的统一存储和管理；地市集市解决各地市个性化应用支撑问题的统一存储和管理；地市集市解决各地市个性化应用支撑问题数据采集和 预处理模块地市个性化应用地市个性化应用地市个性化应用地市个性化应用数据集市数据集市数据集市统一数据模型标准指标 和统一应用应用/需求管理统一数据统一数据 共享层共享层数据采集和预处理数据采集和预处理数据采集和预处理数据集市个性化应用个性化应用个性化应用个性化应用统一元数据15 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division提纲 信令分析平台数据处理和应用特点 信令分析平台面临的潜在问题和理想架构 信令分析数据平台架构建议方案 案例分享1516 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division信令分析平台整体数据架构分布式文件平台分布式文件平台+ +数据库数据库PaaSPaaS云平台云平台A地市B地市X地市基于分布式文件处理的信令基础数据批处理信令报表和 共享数据（ Greenplum数 据库云平台 ）海量信令基 础数据处理 （Greenplum Hadoop）信令分析平台Greenplum Hadoop平台发挥海量数据批处理特点，个、Greenplum数据库PaaS平台发 挥高性能、数据一致性、高并发、实时数据分析特点16数据库云平台数据库云平台E ED D虚拟数据集市A A虚拟数据集市虚拟数据集市空闲资源池G G F FB B C C17 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division省级信令平台存储和计算能力要求（传统架构） CDR字节=260BYTE 每秒钟CDR数量=350000 一天CDR总量=260350000360024=7.6TB CDR保存周期 ：90天 存储容量要求=7.6TB90=684TB 一天CDR数据量加载时间要求=2小时内加载完成 加载速度要求=7.6TB 2=3.8TB/Hour 一天CDR汇总统计（访问一天CDR数据），需要完成时间=60秒 完成一点CDR汇总统计，所需的计算能力=7.6TB 60=127GB/Sec 每个Intel CPU core处理数据200MB/Sec，所需CPU总数=127GB 200MB=650 CPU core18 Copyright 2011 EMC Corporation. All rights reserved.Data Computing Division基于Greenplum DB平台存储和计算能力估算 一天CDR总量=260350000360024=7.6TB CDR保存周期 ：90天 原始存储容量要求=7.6TB90=684TB Greenplum DB数据压缩比 =8倍（中创信令测试结果） Greenplum DB存储一天CDR数据量=7.6TB8=0.95TB Greenplum DB存储容量要求=684TB 8=85.4TB 一天CDR数据量加载时间要求=2小时内加载完成 Greenplum DB加载速度要求=7.6TB 2=3.8TB/Hour 一天CDR汇总统计（访问一天CDR数据），需要完成时间=60秒 完成一点CDR汇总统计，所需的计算能力=7.6TB 860=15.8GB/Sec 每个Intel CPU core处理数据200MB/Sec，所需CPU=15.8GB 200MB=79 Core 16台GREENPLUM