国土资源多源异构数据整合应用 实例探讨北京世纪安图数码科技发展有限责任公司 2012年11月目录录 1. 目前国土数据存在的问题 2. 国土多源异构数据整合的重要性 3. 国土数据整合的内容 4. 国土多源异构数据整合的解决方式 5. 基于FME的国土多源异构数据整合方案目前国土数据存在的问题问题当前国土资源信息化蓬勃发展，而各级国土资源信息化水平参差不齐，导致国土数据面临很多问题： 数据分散、格式多样、通用性较差 数据更新周期较差，数据现势 性较差 业务 部门间 分割严重，信息互通性较差数据质量 格式多样 坐标不统一 标准不统一数据更新 更新周期长 联动更新不及时数据共享与交换 业务数据库孤立存在 业务数据库之间缺乏数据交换与共享机制目前国土数据存在的问题问题主要表现为：国土多源异构数据整合的重要性(1) 国土资源电子政务运行平台和系统需要统一的“国土资源数据库”作为数据支撑。(2) 协调 省市县各个部门之间的关系，使集成化国土资源基础数据库能够满 足电子政务工程建设的需要。(3) 形成统一的国土资源数据标准，提高国土资源数据管理的科学化、规范化，提高国土资源基础数据的社会效益和经济 效益。(4) 形成完善的国土资源数据信息共享、交换机制，加快国家、省、市等数据交换中心的建成。(5) 构建国土资源指标监 管体系，通过指标分析，展示国土资源现状、规划、保护和开发利用水平，辅助领导 决策。国土数据整合的内容(1) 建立和完善国土资源基础数据标准体系。(2) 汇交各级基础数据资料，对分散的国土资源基础数据进行规范化和标准化处理，以及信息提取，实现 多源、多格式、异构空间数据的转换 。(4) 建立面向国土电子政务信息共享的数据交换体系。(5) 建立统一的国土资源空间数据库的管理和更新机制，实现 数据入库、更新、备份和维护 管理。(6) 实现 中心基础数据库与各业务 系统数据库之间的交换共享关系；(7) 建立国土资源指标监 管体系，为政府提供国土资源信息的辅助决策支持和面向社会化信息服务。国土多源异构数据整合的解决方式 1.直接进行空间数据交换，即把一个系统的内部数据文件 格式直接转换成另一个系统的内部数据文件格式； 2.利用标准数据格式进行转换，如DXF、DLG等； 3.建立开放式的共享空间文件格式，如中国地球空间数据 交换格式(简称CNSDTF，标准编号：177981999)； 4.空间数据互操作，利用“语义转换 ”，对空间数据进行 整合。基于FME的国土多源异构数据整合方案 1.国土数据建库质库质 量检查检查 方案 2.国土数据库库更新维护维护 方案 3.其它国土方案www.antu.com.cn国土数据建库质量检查方案 北京安图数码科技发展有限公司 v建库准备建库资源：1. 源数据 2. 源数据规则或规范 3. 数据库 4. 数据库结构或建库规范 5. 软硬件环境国土数据建库质量检查方案v源数据分析1. 源数据采样分析2. 数据库环境分析3. 源数据规范与数据库规范的对比分析v源数据规则或规范 针对不同的数据建立不同的数据标准：例如，基础地理数据，土地 利用规划等，形成对不同数据标准的检查和验收规范土地利用规划数据规范国土数据建库质量检查方案 数据检查细则国土数据建库质量检查方案国土数据建库质量检查方案v流程设计图源数据规范检查入库操作数据库数据纠错通过未通过国土数据建库质量检查方案v流程设计图-检查规规范 检检 查查完整性逻辑 性图形 规则属性 规则业务 规则数据目录结构正确性文件名称正确性数据要素分类是否准确数据现势性情况空间数据要素完整性属性必填字段元数据的完整性图形自身逻辑错误图形间的拓扑关系图属一致性检查接边检查上下级交互检查值域、范围、规则检查属性字段结构国土数据建库质量检查方案v流程设计图-纠错几何有效性纠错 线面自交差 线面伪节 点 面重叠、线重叠 面缝隙 图形的拓扑纠错 悬挂线 微小面处理 微短线处 理 重复注记的叠加处理 国土数据建库质量检查方案v流程设计图-入库入库库 操作数据 字典要素 分类要素 接边图属 关系数据字典自动关联要素自动分类分层要素自动接边图属自动重构国土数据建库质量检查方案 空间间数据检查检查 与验证验证FME Workbench组件提供了超过400个不同类型的转换 器。空间检查属性检查空 间 关 系空 间 比 较空 间 计 算图 属 关 系属 性 比 较属 性 计 算属 性 分 隔数据检查与验证整体性检查完整性逻辑性自 动 修 正目 录 结 构文 件 名 称要 素 分 类坐 标 系 统元 数 据空 间 结 构字 段 结 构接 边 检 查 检查模板的定义国土数据建库质量检查方案国土数据建库质量检查方案v方案内容基于FME的数据建库有两个模式：单机模式和在线模式单机模式： FME定制检查项，用户 可以根据需要对所有的 检查项进行单项检查、 或者多项检查，另外为 每类检查我们设置了参 数控制。方便用户灵活 的控制检查的精度、范 围等信息。 用户可以实现数据的批 量入库操作，并在入库 前或者入库后完成数据 接边。 应用案例： 南京地籍数据数据在线检查、变更 重庆/成都国土局测绘数据流程化变更国土数据建库质量检查方案国土数据库更新维护方案 FME数据库支持支持的常见数据库格式有： Oracle （None-Spatial &Spatial） MS Server （None-Spatial &Spatial） DB2 （None-Spatial &Spatial） ArcSDE （Raster &矢量） Mysql （None-Spatial &Spatial） MDB （None-Spatial &Spatial） 技术特点如下： u支持空间数据的加载和迁移； u支持数据模型的重构和变换； u支持空间与非空间数据集成； u支持空间数据转换和变换； u支持坐标系统转换； u支持空间数据检查； u支持空间数据质量的保证与验证；国土数据库更新维护方案v国土数据库更新维护模式基于FME的数据库更新维护有两个模式：单机模式和在线模式在线模式： 用户通过网络完成数据 的上传、检查、入库整 体操作。 检查结果可以下载，可 以查看，甚至定位。 入库操作可以自动完成 接边、要素分类分层、 重构等操作。Intranet Or Internet国土数据库更新维护方案数据更新基 础 库提 取中心 库基 础 库基 础 库提 取提 取基 础 库提 取中心 库基 础 库基 础 库数据 库数据 库增量 包数据 库数据 库文件级主动更新被动更新增量更新全量更新国土数据库更新维护方案 数据管理 增量数据的维护 历史数据的保存 数据仓库的ETL 多源异构数据的汇交和集成 应用案例： 上海规划和国土局数据仓库建设 成都国土一张图数据仓库建设国土数据库更新维护方案应用案例应用案例上海空间数据仓库建设技术特点如下： u支持空间数据的加载和迁移； u支持数据模型的重构和变换； u支持空间与非空间数据集成； u支持空间数据转换和变换； u支持坐标系统转换； u支持空间数据检查； u支持空间数据质量的保证与验证；应用案例一应用案例上海空间数据仓库建设技术特点如下： u通过网络进行空间数据的实时分发； u支持分布式故障自动转移配置； u支持Oracle的西文到中文字符集转换； u对空间数据的服务提供日志记录； u提供实时空间数据交换服务； u支持海量空间数据的异构集成，支持实 时、自动实现空间数据的动态更新；应用案例二应用案例成都国土一张图一张图建设的关键技术v关键技术1. 数据变化监测2. 异构集成3. 空间ETL一张图建设的关键技术v数据变化监测1. 基于商业数据库的现有工具 Oracle CDC/Streaming GoldenGate 2. 一般的触发器/存储过程 3. 全记录集比对一张图建设的关键技术v异构数据集成一张图建设的关键技术v异构数据集成一张图建设的关键技术v空间ETL-国土监管指标的抽取一张图建设的关键技术v空间ETL-国土监管指标的抽取数据交换换和共享其它解决方案数据上传数据下载任务提交数据流传输OGC标准邮件服务FME Server服务国土资源数据 中心库 其他新技术的应用 3D pdf展示三维数据 基于Google Earth的数据动态展示 多源数据的快速三维建立 应用案例： 3D Pdf数据展示 Google earth 点云、影像、矢量快速建模其它解决方案3D数据谢谢！ 欢迎各位领导、专家指正