Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 20102010云计算技术在通信行业的应用中电达通通信技术股份有限公司中电达通通信技术股份有限公司20112011年年3 3月月 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020102目录u前言 使用云计算解决通信企业的计算问题之可行性u中电达通的DataMerger / DataMerger Cloudy VersionuCloudyVersion使用的Hadoop框架概述u云计算版本对即席查询和分析统计查询的支持u与开放式应用管理wiki技术的融合u目前的云应用介绍：企群通 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020103前言 使用云计算解决通信企业的计算问题之可行性uHadoop/HBase/Hive架构在互联网行业的应用，与在通信行业的应用，并没有本质的不同u通信企业的数据规模与互联网企业的数据规模接近，可以达到PB级别，传统的集中存储计算模式面临无法解决的存储容量扩展性问题和计算能力问题u通信企业对用户行为的数据收集需要扩展到非生产关键数据领域：上网日志留存，更细节的网管监控数据等会迅速增加数据规模，使用云计算技术可以解决存储容量、计算能力以及降低建设成本u与互联网企业不同，可以根据数据规模建设多个独立的私有云计算平台。降低建设周期和建设难度。在几十个节点上已经可以发挥云计算的优势。 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020104前言 使用云计算解决通信企业的计算问题之可行性企业 健康成 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020105中电达通的DataMerger / DataMerger Cloudy VersionDataMerger：uDataMerger是中电达通多年研发的历史数据存储和查询方案。u对历史数据提供了高比率的压缩，减少了存储需求。u按索引查询的性能，可以提高数倍。u对存储设备和主机的要求降低。u很高的效率从源系统迁移数据。u提供关系数据的功能，使用SQL语法。u对原有的应用系统提供透明融合，原有的应用系统可以不做修改。内存数据库Oracle/DB2/SYB ASE/INFORMIXDataMerger Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020106中电达通的DataMerger / DataMerger Cloudy VersionDataMerger Cloudy Version：u是DataMerger的下一代版本u使用无共享存储的分布式计算技术，系统规模的良好扩展能力u提供对巨量数据的高效率分析能力u提供对历史数据的压缩存储和快速查询u使用开放式协同知识管理技术，简化应用的开发u使用廉价硬件提供高可用性 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020107中电达通的DataMerger / DataMerger Cloudy VersionDataMerger Cloudy Version的共同点：u提供对海量数据的大比率的压缩存储u数据为有序存放，导入的时候对数据做重组u提供对历史数据的快速查询u使用廉价硬件 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020108中电达通的DataMerger / DataMerger Cloudy VersionDataMerger/DataMerger Cloudy Version的区别：uDataMerger使用集中存储式架构 CloudyVersion为全分布式架构uCloudyVersion具有良好的伸缩扩展 DataMerger在TB级数据提供更高的性价比uCloudyVersion对统计分析使用MapReduce技术 DataMerger统计分析无优势uCloudyVersion与开放式知识库和开放应用平台结合 DataMerger是纯数据库软件 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 201020109CloudyVersion使用的Hadoop框架概述分布 式数据 存储更少的投 资更安全的 数据保护更稳定的 系统运行更便捷及 低成本的 数据扩容更快捷的 数据分析 查询 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201010 存储集中式数据库，适合于TB级以下数据存储 优势: 成熟的系统软件和应用开发 熟练的维护和开发人员 保护历史投资，阵列/主机缺点: 无法解决PB数据级应用 分布式数据库 优势： 可以使用廉价硬件线性扩充存储和计算能力，没有集中共享的存储阵列 增加节点数，查询性能线性增长 硬件投资小，单节点（2C4核，32G内存，8T存储）投资3-5万 在互联网领域已经有成熟稳定的应用，包括在线服务和数据分析。 不需要当前商用数据库软件投资缺点： 新模式的维护管理人员培训学习成本CloudyVersionCloudyVersion使用的使用的HadoopHadoop框架概述框架概述 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201011简化主节点，适应大规模集群MasterMasterMasterMaster项项项项目目目目经经经经理理理理Node1Node1Node1Node1产产产产商商商商1 1 1 1Node2Node2Node2Node2产产产产商商商商1 1 1 1NodeNodeNodeNode产产产产商商商商1 1 1 1Node2Node2Node2Node2产产产产商商商商1 1 1 1DataAnalyzeDataAnalyzeDataAnalyzeDataAnalyze业业业业 务务务务DataAnalyzeDataAnalyzeDataAnalyzeDataAnalyze业业业业 务务务务 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201012数据安全性的保证 在数据量达到PB级别时，分布式压缩存储数据库提供更大的计算弹性 使用Hadoop框架建设分布式存储和分布式数据库noderackdata center Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201013分布式数据压缩存储Write原理WriteCommit dataMemtab leTabl es 1Tabl es 2Tabl es 3Tabl es n Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201014分布式数据压缩存储Read原理ReadMemtabl eB FID XB FID XB FID XB FID X Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201015有序的数据减少索引量 分布式数据库使用3级层次结构的B+树存储Tablet位置的索引. .User Table1User TableNOther METADATA tabletsRoot tablet (1 st METADATA tablet)Chubby file Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201016Map/Reduce高效数据分析 充分利用节点资源，加快分析速度。 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201017统一分析查询APINod e 1Nod e 2Nod e 3Nod e 4Nod e nSQL语法解析引擎JSON数据交换接口Data Cache基于数据集中的集团应 用系统JSON（JavaScript Object Notation）轻量级数据交换格式 / 这是一个Columnname: “zhuangxulin”,value: “zhuangxulin2003msn.com”,timestamp: 123456789 Data Analyze 引擎 Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201018分布式数据压缩存储优势 数据存储模式灵活，无需提前制定存储字段，在系统运行过程中随意的增加 或者删除字段； 真正的水平扩展，不必重启进程，改变应用查询，或者手动迁移任何数据 ； 多数据中心识别，通过调节节点布局来避免某一数据中心瘫痪，任何一个 备用节点将至少有每条记录的完全复制； 范围查询，无需全数据遍历； 分布式写操作，提供更快的数据迁移入库能力，同时无需担心单点故障； 分布式读操作，提供更快的数据分析查询能力； Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2010201019云计算版本对即席查询和分析统计查询的支持 分布式数据库与集中存储数据库技术相结合，少量综合后的数据存储 到传统关系数据库中； CloudyVersion提供对即席查询和统计分析的支持，业务系统中不再 存放海量历史数据 对于云平台和业务平台都需要存储的数据，云平台定期从业务平台抽 取，原则是分析类业务不再使用业务平台的资源省分业 务系统数据抽取转换数据 传输Hadoop Cluster DATAMERGER Copyright DataComo Copyright DataComo Communications Communications Inc., Inc., 2