贵州省公安厅治安特行管控无线信息采集系统数据整合交换中间平台技术方案2010.11文档说明文档状态文档状态：文档标识：V 草稿当前版本：0.0.1正式发布作者：正在修改完成日期：文档类别文档密级：一般 使用人员本文档使用人员包括:版本更新版本更新记录如下:1引言 31.1 编写目的 31.2 文档约定 31.3 建设背景 31.4 建设目标 42建设思路 52.1 数据整合平台基本功能 52.2 设计思路 63技术方案 73.1 应用系统获取数据分析 73.2 数据整合服务的数据服务方式 83.3 数据整合服务应用原理 83.4 数据整合服务的系统架构 104 系统实现 114.1.1系统登录 114.1.2新建包和包下的模型 114.1.3 数据源配置 124.1.4流程管理 124.1.5数据展现 134.1.6系统管理 144.1.7接口调用说明 145 软硬件配置要求 145.1 硬件配置 145.2 软件配置 155.3 网络环境要求 16各个应用系统提供的链接方式优缺点比较 16.1直接连接数据库的方式： 16.2 采用 WEBSERVER式提供数据： 16.3 采用文件的方式提供数据： 17数据同步问题： 21引言1.1编写目的本文从系统架构方面简单的阐述贵州省公安厅治安特行管控系统的数据整 合需求和系统搭建，以及数据整合交换中间平台提取数据和提供数据的方式。1.2文档约定CIM : （common information model， 公共信息模型）用一套规范化的、面 向对象的格式描述一个企业中的各种实际对象， 是一个通用信息格式的标 准数据模型。CIM对象模型：CIM对象模型包含属性和关联两个要素，属性是指事物 固有的特性，关联则代表一个对象与另一个对象（或者多个对象）之间存在 的关系。Package包是用于方便对CIM对象模型和业务模型进行管理，包好比文 件系统中的目录，存在父子关系结构，一个CIM对象模型或者业务模型必须属于一个包，好比目录中的文件，包将类型相似或者关系亲密的 CIM 对象模型或者业务模型集中到一起进行管理。Webservice Web服务是一种部署在 Web上的对象，以XML为主的、开 放的Web规范技术，建立在可互操作的分布式应用程序的新平台，一套 标准，定义了应用程序如何在 Web上实现互操作性。1.3建设背景贵州省公安厅的贵州省公安厅特行管控系统信息采集网络应用无线网络接入，可通双方网络的GPRS数据传输专线，两端分别连接贵州移动的无线核心 网络和贵州省公安厅特航管控系统网络接入平台，双方互联路由器之间采用固定IP地址进行广域连接，使用防火墙进行隔离，在防火墙上进行IP地址和端口过滤。由于本次信息采集点众多， 所以通过以上方式传输数据， 如果是点对点直接 接入贵州省公安厅的贵州省公安厅特行管控系统， 这样对该系统实时数据传输要 求较高，并且贵州省公安厅特行管控系统的网络直接对信息终端机要求也较高， 如果信息终端机的网络出现延迟， 则数据会收到较大影响， 所以我们在这里提出 通过把数据整理规范后， 通过统一的数据整合中间平台进行传输的方案。 具体建 设方案如下：1.4 建设目标本次系统建设的目标是利用数据整合交换中间服务对于各个无线信息采集 终端的分散数据进行整合， 形成数据集市， 并提供贵州省治安特行管控信息系统 的各种需要基础数据， 便于依靠数据进行综合查询分析， 对相关系统提供数据依 据。具体建设目标如下：1) 建立强大的数据采集平台和高速通道， 保证数据采集传输的高效性和 可用性，保证数据采集质量的完整性。2) 建立数据规范服务，不同厂家和不同型号的信息采集机，经过该数据 规范服务后均按照标准数据方式进行存储。3) 快速高效的数据推送业务， 把规范的数据转化成贵州省公安厅特行管 控系统可识别的数据结构， 贵州省公安厅特行管控系统可以直接获取 各信息采集点传来的数据后实现各种具体功能业务。4) 开发完备的日志记录功能，保证数据传输的过程有据可依，对网络质 量引起的数据不完整性可以进行记录，方便信息采集机重新处理。5) 建立可视化配置维护平台， 技术人员可以进入系统后对数据整合中间 平台进行配置，配置并发布后，系统按照新的采集规则进行采集，满 足业务的多变性。2建设思路2.1数据整合平台基本功能本次数据整合平台建设数据整合平台分为六大部分：CIM模型维护、数据源维护、流程管理、流程管理、数据展现、系统管理、接口调用说明。CIM模型维护：系统提供符合符合贵州省公安厅治安特行管控系统标准 的相关模型，因用户业务需求也可以自建模型。流程引擎：整个数据整合平台是基于流程驱动设计的，流程引擎负责把把 用户配置的数据抽取，数据的多步转化、加工，数据标准化，数据存储， 标准数据发布这个个串成一个流程。数据抽取：数据抽取的功能是负责把各种数据源（数据库，xml，Excel,文本文件，WebService等）的数据抽取过来数据源处理器，数据源处理器面对各种数据源，通过配置数据源处理器，比如数据库处理器就配置， 数据库的类型，数据库ip地址，用户名，密码，数据库名称等信息；WebService处理器就配置，WebService的发布服务的wsdl地址，和取数据的方法，参数等信息。特别要着重开发的是，针对数据库数据源应该提 供增量同步机制。数据多步转化、加工：提供两种数据加工方式，1、基于数据库（PostgreS 的数据加工，利用数据提供各种函数对数据进行加工。 2、基于java标准 的语法的编程接口加工数据。数据标准化：抽取过来的数据经过加工处理和转化以后和CIM模型进行关系映射，把数据标准化。数据存储：抽取过来的数据经过数据加工和处理以及标准化以后按照CIM模型的定义存储到CIM数据中心。标准数据发布：把CIM数据中心的标准数据以 WebService和Java接口的两 种方式发布出去，供其他系统使用。系统功能设计图如下:if山近祀間说亢JLtAH巴B崎嗾成，鱼朝删朋區冲匕矽火卜L融就也刑：；!J更站義神盛臥I? 费迪护* 锂星*人列Ion組 ai=?DBZ5TD 何YVS1STD 3-诂!LUtCGAJlh iJ-isTDaDa stDTiira斤皿cxH城讦I 百&O6GHI 2.2设计思路本系统的技术架构遵循相关标准，符合贵州省公安厅治安特行管控系统的整 体要求。在完成本项目建设目标的同时，系统还具有技术先进性、可扩展性、灵 活性、安全性等特性，具体思路如下：依据无线信息采集终端和贵州省公安厅治安特行管控系统数据为基础，建 立数据整合交换中间服务中心。在数据整合服务上建立符合各应用系统的数据包和数据模型，便于从各应 用系统中抽取数据进行存放数据。依据数据整合服务提供的相关接口或数据源，提供数据给各相关的应用系统，依据数据进行各种不同的展现。依据数据整合服务，不断的建立丰富数据整合服务的数据，为以后建立数 据集市和数据仓库奠定相应的基础数据。3技术方案3.1应用系统获取数据分析由于现在无线信息终端数量众多，分布交广，到时会应用于各个行业，所以 如果按照供数据方式如下，需要多台应用服务器点对点进行数据交换：捲丈扌t壬戏耳旺丈些寸百线余團例*由上图可以看出，基本上是各个系统提供一个相关的接口， 另一系统或几个 需要数据的应用系统来调用，各个应用系统提取数据只是为本系统使用， 别的系 统没有办法使用提取的数据，各个应用系统都要开发相关的接口供别人调用， 同 时也要开发相关的应用去调用别的应用系统的数据进行分析；这样一来，各个应用系统可能多次被别的系统调用，也可能多次调用别的系统中的数据，给自身应 用系统带来运行速度和运行效率的降低，同时也降低了被访问系统的运行速度和 运行效率。总和来看各应用系统在数据提供和获取方面组织成了一个焦灼的状态， 导致各个应用系统之间比较混乱和难于管理。3.2数据整合服务的数据服务方式数据整合服务建立在单独的数据整合服务器上，采用Oracle数据库，B/S的网页方式管理系统和处理数据，对数据进行集中管理，获取和提供数据变得比较 简单，为后期建立数据集市和数据仓库奠定相应的数据基础，系统服务结构图如下： 提供与获取数据从上图可以看出，各个系统提供接口给数据整合服务， 数据整合服务通过各 个应用系统的接口提取数据到数据整合服务器， 再由数据整合服务提供统一的接 口供个应用系统提取另外不同应用系统的数据， 这样一来各应用系统的数据就可 以进行共享，而不必相互间的获取取数据和提供数据，同时也保证了各个应用形 同的运行稳定，运行速度和运行效率自然也达到相应的提高。3.3数据整合服务应用原理基于数据整合平台的应用采取以下的结构进行数据处理，把来自各种不同系 统和文件以及第三方应用系统的数据采集到数据整合服务中， 再通过数据整合服 务的接口发布数据供各个应用系统消费，系统工作原理如下图所示：数据整合平台的工作原理采用 B/S的方式进行工作，部署数据整合平台在数 据整合的专用服务器上，客户端操纵数据整合服务器，在数据整合服务器上处理 数据整合的相关应用。客户端的操作主要有:在数据整合服务器上对应用系统的数据建模。数据源和目的数据源的配置。链接方式有：数据库数据源（直连接数据 库）、Webserver数据源连接、文件数据源连接。抽取数据和提供数据 的基础。流程配置。获取数据和提供数据全部是通过流程完成的，数据整合平台 的工作中心。数据展现、系统管理、接口调用说明是一些辅助功能，帮助用户配置流 程和相关信息和数据的展现及帮助功能。3.4数据整合服务的系统架构基于数据整合平台的工作原理和客户端的处理和操作，数据整合服务的拓扑图结构如下图所示行。A系统信息采集终端信息采集终端信息采集终端信息采集终端络无线网数据整合中间平台中间数据库月服务器V.,WebService贵州省公安厅 治安特行管控系统 数据库服务器客户端通过网页形式远程连接数据整合服务器，在数据整合服务器上建立设 计好的和各个应用系统对应的相关包和数据模型，通过数据整合服务器连接贵州 省公安厅治安特行管控系统，获取系统的相关数据，再把获取的数据写入实现建 立好的数据模型，通过数据整合服务器设置数据对外服务的数据， 以达到数据共 享的目的。同时，数据整合服务也提供经过数据整合服务器做跳板，把数据从A应用系统导到B应用系统，数据不在数据整合服务器中保存，这时，数据整合服务 器只是起到中间桥梁的作用，实现数据的在不同应用系统中的转存。4系统实现用户登录数据整合服务应用以后，可以进行相应的操作，包括新建包和模型、 配置数据源、配置流程和管理流程、相关数据的查看、系统管理和相关的接口调 用说明。4.1.1系统登录打开网页，进行整合应用页面用户名登陆，进行认证数据整合功能操作退出4.1.2新建包和