三一实时数据库项目总体方案设计说明书文件编号：YKXM-200811-SY-2所属项目编号：YKXM-200811-SY所属项目名称：三一实时数据库项目部 门：研发中心版 本 号：1.4受控状态：0密 级：机密总 页 数：23正文：21附 录：0编 制：陆秋明、刘本伟日 期： 2009-6-7审 核：唐旭成日 期：2009-6-8批 准：日 期：北京亚控科技发展有限公司北京亚控版权所有研发中心三一集团实时数据库项目总体方案设计说明书 日期版本号编写人内容2009-5-26V1.0陆秋明创建2009-5-31V1.1陆秋明和三一唐旭成、彭涛等人沟通后改各事业部名称和负责的设备种类名称；改It本部为集团总部。2009-6-1V1.2陆秋明三一唐旭成review，修改文档错误；增加沈阳事业部。2009-6-2V1.3陆秋明根据三一吴云峰review意见，补充：本项目系统与其他系统集成方案设计1、 关于用户认证和用户权限的集成描述；2、 关于客户端界面的集成描述；3、 关于数据服务的集成描述。2009-6-3V1.4刘本伟根据汇报得到的反馈意见，重构文档结构。2009-6-7V1.5刘本伟根据交流意见，添加实时数据库介绍、添加项目协作事项、修改相关描述。2009-6-17V1.6刘本伟根据评审意见，修改“统一协议解析”为“协议统一解析”。 第2页 共24页北京亚控版权所有研发中心三一集团实时数据库项目总体方案设计说明书目 录1引言21.1编写目的21.2参考资料22实时数据库方案12.1什么是实时数据库12.2为什么选择实时数据库12.3实时管理系统23项目描述33.1项目目标33.2项目原则44项目业务54.1设备工况数据前置采集业务54.2设备协议统一解析业务54.3实时数据库业务54.3.1数据存储业务64.3.2数据计算业务64.3.3报警与事件检测业务64.3.4报表业务64.3.5监控业务74.4设备远程控制业务74.5系统配置管理业务74.6系统用户管理和认证业务85本项目系统与其他系统集成方案95.1 与其他系统“用户认证和用户权限”集成95.2 与其他系统“客户端界面”集成95.3 与其他系统“数据”集成96项目结构与部署方案116.1集团总部整体方案116.1.1 集团总部系统软件模块关系126.1.2 集团总部系统软件部署方案126.1.3 集团总部系统软件模块组态配置关系146.2各地事业部方案156.2.1各地事业部系统软件模块关系156.2.2各地事业部系统软件部署方案166.2.3各地事业部系统软件模块组态配置关系197项目实施协作事项201引言1.1编写目的为明确三一重工实时数据库项目总体方案、安排项目规划与进度、组织软件开发与测试，撰写本文档。本文档供项目经理、设计人员、开发人员、测试人员参考。1.2参考资料三一重工实时数据库技术协议.doc三一实时数据库项目需求规格说明.doc2实时数据库方案2.1什么是实时数据库实时数据库是数据库系统发展的一个分支，它适用于处理不断更新的快速变化的数据及具有时间限制的事务处理。适应于测点数量庞大、采集数据量巨大、数据实时性要求高的应用场合。实时数据库主要是数据库技术和流程实时技术结合的产物。同时，实时数据库针对工业流程数据的特征，采用了优化的存储结构和高效的数据压缩算法。2.2为什么选择实时数据库三一集团作为世界级机械制造厂商，在全球销售了成千上万台的机械设备，这些设备的作业工况，通过智能控制系统将数据传回到三一集团，为三一集团实现设备远程诊断、设备技术创新提供支持和保障。随着集团规模的不断扩张，销售的设备不断增加，三一集团的设备工况数据将成倍增长，大容量、可扩充、性能稳定优异的数据库平台将成为三一集团必然要建设的基础设施。目前，数据库领域内，比较流行的是关系数据库，但是，针对三一集团这样的应用，实时数据库才是首选。（本节下文的数据为行业通用数据，并非亚控公司产品数据；亚控产品数据请参照三一集团测试项目数据，其中各项指标均优于本节数据。）在处理实时数据方面，关系数据库受关系理论本身的限制，通常一秒钟内能够接受30005000条数据记录，而实时数据库通常的处理能力在20,000条数据记录以上。以三一集团现有6000台起重机为例，每台起重机有100的测量数据，数据以每30秒一次的速度采集并存储。存储一个浮点型数据，关系数据库使用27字节（byte），实时数据库使用8字节。则： 项目关系数据库实时数据库一次采集数据量16.2M bytes4.8M bytes一天数据量46.656 G bytes14 G bytes一年数据量17,030 G bytes5,046 G bytes表1：数据量对比同时，实时数据库技术的数据压缩通常可以压缩到原始数据的20%-30%，则按30%计算，实时数据库压缩后数据为756.9 G bytes；而关系数据库，通常不会进行数据的压缩。另外，在数据查询方面，三一集团以前应用的关系数据库系统，也无法满足实时、历史数据查询的需求，而实时数据库则能够达到2秒查找出50,000条记录，5秒内查找出300,000条记录的性能。最后，针对三一集团的发展状况，实时数据库能够通过提供多个数据库共同构成分布式结构，满足系统扩充的需要。将不同的设备的数据放在不同实时数据库中，通过统一的方式访问。综上所述，三一集团数据库平台，必然选择实时数据库而不是关系数据库。2.3实时管理系统基于实时数据库的三一集团实时智能管理系统能够为三一集团提供随需而变的实时管理、远程管理和未来管理。随需而变的实时智能系统系统完全根据需要配置，支持设备、协议、子系统、服务、功能的“热插拔”。无论是新产品加入系统还是原有产品的改进与更新，是添加新的子系统还是服务项目的变化，完全提供组态配置的方式实现，完全通过各种服务的的配置实现，将代码开发量降到最，降低系统开发、维护、升级的难度，降低系统得运营、维护成本。实时管理完全实时的智能管理系统，为三一工程师提供设备的实时控制台，保证准确及时地反映设备状态。如：设备偷油检测，通过及时地数据采集系统，设备有位数据进入实时数据库，经过在线的数据计算和事件报警分析系统，根据最小二乘法和过程辨识等数学方法，三一工程师能够及时地掌握设备是否正常工作，是否正在被偷油。消除距离实时智能系统通过远程诊断与协助系统，三一工程师能够为三一客户提供及时地服务，使得客户能够在工作现场就得到服务与支持，使得三一集团能够准确判断设备是否故障，掌握最多的故障信息，为排除故障作作充分的准备。预测未来易经：“覆霜坚冰至”。无论是从见微知著还是防微杜渐，或者说事物是发展的，都必须有足够的信息支持。三一实时数据库为三一实时智能系统提供了稳定可靠的数据和丰富强大的数据分析，使得三一的工程师 能够通过设备的磨合程度、使用程度、磨损状态等数据信息，预先为客户指定合理的设备维护检修计划，及时地通知客户更换老化部件、维护关键设备。既提升三一集团的服务与形象，更为客户提供最大设备使用率保障，真正做到了“双赢”。3项目描述三一集团具有多个事业部分布在世界各地，每个事业部生产不同类型的重型机械设备，有各自的通讯协议、工况协议，分析和处理的事务也不尽相同，应该有适合其各自相应设备的数据分析、处理、管理流程；集团总部需要汇总、分析、处理各事业部数据，给三一的客户以统一的集团公司形象，给集团领导以集团全局的数据、信息。三一集团实时数据库项目构想为各地事业部分别部署本地的数据采集服务、协议解析服务、工业实时数据库、关系数据库和各类服务，汇总其所生产的重型机械设备数据，由各地事业部建立适合自己特色的分析和处理应用；在集团总部部署中心工业实时数据库、中心关系数据库和各类服务，通过数据库的镜像技术汇总各地事业部的数据，并进行集团级的分析、处理，提供集团级的应用，同时也给三一的客户提供一个统一的浏览应用。如下图1所示。关于数据通讯的链路，在设备和数据库之间使用GPRS，在公司员工桌面和数据库之间使用TCP/IP（局域网或虚拟专网），在客户和数据库之间使用HTTP（广域网）。这种结构可以使得各事业部业务互不干涉，互不影响，保证系统负载均衡，系统中各个组成部分分工明确，又高度统一在集团信息系统之中，具有很强的可扩展性和相对的灵活性，可以适应集团目前和将来发展的需要；同时还具有较强的抵抗数据灾难能力。整个系统涉及到的数据库及其服务、桌面应用、web应用均将采用标准化的商业软件产品以组态方式配置实现，省却将来昂贵的系统维护和系统变更的代价。图1 、整体方案的构想3.1项目目标项目的最终目标为实现三个统一： l 设备协议统一解析平台：系统将提供统一框架，为各种设备协议配置、各种协议解析服务，为各类不同的设备提供统一的数据采集方式；l 统一的数据服务平台：设备的工况数据都存储在工业实时数据库中，以统一的数据接口服务提供给各业务应用模块或系统；l 统一的应用开发平台：设备的工况数据的应用都将采用统一的规格与样式，使用相同的组态配置工具，以一致的风格呈现给集团员工和集团客户。3.2项目原则项目的设计、实施将遵循以下原则：l 要求系统为全集团搭建统一的数据平台，正确、高效、稳定的完成三一集团设备工况数据的采集、存储与应用；l 要求系统为三一集团数据的采集、存储与应用制定统一的规格、样式与标准；l 要求系统各类服务支持分布式部署，支持负载均衡；l 要求系统具备可扩展性；l 要求系统具备开放性，能够接受其他系统的数据和服务，能够为其他系统提供数据与服务；l 要求系统国际化，面向多语言；l 要求系统兼容多产品、多型号、多协议、多版本；l 要求系统能分布实施，可以分级、异地部署，按集团总部和各地事业部分别建设；l 要求系统能够提供在C/S模式框架、B/S模式框架；4项目业务三一集团实时数据库项目主要完成的业务有：设备工况数据前置采集业务，设备工况数据统一解析业务，实时数据库业务，设备远程控制业务，系统配置管理业务，系统用户管理和认证业务等六项业务。4.1设备工况数据前置采集业务前置采集业务主要完成GPRS数据的接收和转发。根据三一集团目前系统状况，前置采集业务将在各地区部署部署管理。前置采集业务完成如下功能：1、 接收设备GPRS通过UDP方式上传的数据，使用透传方式交给工业库数据解析业务（采用TCP/IP方式）；2、 接收下发的设备控制数据（采用TCP/IP方式）