投标文件投标文件 第一部分第一部分 技术方案建议书技术方案建议书 二零零四年十一月二零零四年十一月 XXXX 股份有限公司 第 2 页 目目 录录 第一章 综述 . 6 1.1 系统功能的核心 . 6 1.2 系统平台的选取 . 6 1.3 工程各方的要求 . 7 1.3.1 中国* . 7 1.3.2 系统集成商 . 7 1.3.3 平台供应商 . 7 第二章 系统架构 9 2.1 总体架构 . 9 2.1.1 数据仓库部分 . 9 2.1.2 数据集市部分 . 10 2.1.3 前台工具部分 . 11 2.2 硬件架构 . 12 2.3 软件架构 . 13 第三章 数据源接入方案 15 3.1 交换网管接入方案 . 15 3.2 基础数据网管接入方案 . 16 3.3 智能网网管接入方案 . 16 第四章 系统各层次分析专题 17 4.1 数据处理 . 17 4.1.1 ETL 描述 . 17 4.1.2 ETL 子系统概述 17 4.1.3 数据抽取 . 18 4.1.3.1 增量数据抽取 19 4.1.3.2 全量数据抽取 20 4.1.4 数据转换 . 21 4.1.5 数据加载 . 22 XXXX 股份有限公司 第 3 页 4.1.6 ETL 管理和调度 23 4.1.7 数据获取的时机和频率 . 23 4.1.8 ETL 的高效性 24 4.2 数据存储 . 25 4.2.1 数据存储模式 . 25 4.2.2 数据仓库设计 . 25 4.2.2.1 数据仓库的意义 25 4.2.2.2 数据存储模型设计 25 4.2.2.3 基础数据层 26 4.2.2.4 应用数据层 26 4.2.3 数据集市设计 . 28 4.2.3.1 从属数据集市的意义 28 4.2.3.2 数据集市设计 28 4.3 数据访问 . 29 4.3.1 概述 . 29 4.3.2 多维数据分析 . 30 4.3.3 数据的探察 . 30 4.3.4 预警、排名 . 31 4.3.5 体系结构特点 . 32 4.3.5.1 伸缩性和增量增加 32 4.3.5.2 高可用性 33 4.3.5.3 集成性 34 4.3.5.4 基于角色的访问控制 34 4.3.5.5 瘦客户 Web 界面 . 35 4.4 元数据及管理 . 36 4.4.1 元数据类型 . 36 4.4.1.1 ETL 元数据 36 4.4.1.2 数据仓库元数据 37 4.4.1.3 数据集市元数据 37 XXXX 股份有限公司 第 4 页 4.4.1.4 数据访问层元数据 37 4.4.2 元数据的管理要求 . 37 4.4.2.1 数据的设计原则 38 4.4.3 元数据管理架构 . 39 4.4.3.1 集中式构架 40 4.4.3.2 分布式架构 42 4.4.3.3 混合式架构 43 4.4.3.4 管理架构比较 44 4.4.4 元数据管理方案 . 46 4.4.5 METACENTER 产品特性 . 48 4.5 数据建模方案 . 50 4.5.1 数据仓库建模方法 . 50 4.5.1.1 概念模型设计 51 4.5.1.2 技术准备工作 52 4.5.1.3 逻辑模型设计 52 4.5.1.4 物理模型设计 54 4.5.2 *集团综合分析模型初步方案 . 55 4.5.2.1 采用遵循 CWM 的数据仓库产品 55 4.5.2.2 表命名规则 55 4.5.2.3 数据模型设计思路 56 4.5.2.4 系统优化策略 59 4.6 统一门户方案 . 61 4.6.1 问题的提出 . 61 4.6.2 问题的分析 . 61 4.6.3 解决方案 . 62 4.6.3.1 用户的集中方案 62 4.6.3.2 统一认证和 SSO 方案 63 4.6.3.3 统一认证的接口方案 65 4.6.3.4 首页内容聚合简单方案 65 XXXX 股份有限公司 第 5 页 4.7 实施建议 . 66 第五章 系统选型专题 68 5.1 硬件选型 . 68 5.2 系统软件 . 68 5.3 网络设备 . 68 第六章 系统安全策略 69 第七章 系统备份策略 70 第八章 系统网络建设专题 71 XXXX 股份有限公司 第 6 页 第一章第一章 综述综述 中国*网管综合分析系统是中国*在电信领域内网络数据分析支撑系统建设的一个大 胆的尝试， 无论中国*内部还是竞争对手都没有完全相同的应用案例， 如何确保工程的成功 建设是建设本期工程首先要考虑的问题。 本章试图从不同角度分析， 希望能为本期工程的建 设提供帮助。 1.1 系统功能的核心系统功能的核心 从本期工程的技术规范书来看， 系统对功能的要求内容较为多样， 并且面向不同的部门 及管理层次。然而，从系统的建设目标及系统功能的层次逐步分解（数据抽取-数据存储-数 据分析-数据呈现）不难看出系统最终需要的是对各专业海量数据从多个纬度进行纵向及横 向的分析，发现网络中的问题，从而提升网络运行质量，支持网络规划、建设与发展。 因此，我方认为进行指标的归一化管理、实现数据的指标的归一化管理、实现数据的 OLAP 分析分析是网管综合分析系统 建设的功能核心。 1.2 系统平台的选取系统平台的选取 系统平台作为网管综合分析的基础平台，是系统中各种应用的稳定、高效运行的保障， 因此，在各个功能层面选用成熟的系统平台是系统成功建设的基本环节。 本期工程技术规范书对系统各层次需选用的功能层面都进行了明确的要求， 其意图也是 希望本期工程的全部应用都应构建在一套完整的基础平台之上。 因此，对技术规范书关键环节的真实满足程度是系统平台选取的关键对技术规范书关键环节的真实满足程度是系统平台选取的关键。例如：规范对 应用核心功能 OLAP 分析的要求为： “OLAP 处理方式应包括 R-OLAP、M-OLAP 或者混合 使用” ，但很多 R-OLAP 分析也同过虚拟 Cube 的创建实现所谓的 M-OLAP、H-OLAP 分析， 但其实际效率及对系统处理能力的过高要求是不能满足系统在今后数据不断扩充情况下的 OLAP 分析支持的。 XXXX 股份有限公司 第 7 页 1.3 工程各方的要求工程各方的要求 1.3.1 中国中国* 作为本期工程的发起方， 中国*有着对业务权威性的了解， 但缺乏的是如何把专业的知 识转换为实际的应用系统。在工程的各个阶段，作为工程建设的核心，建议在以下方面进行 关注： 调研阶段 需求汇总：协调各相关部门及相关专业人员，将各专业的需求进行汇总、分类、分拣； 需求转换：对归并的需求进行转换，尽可能的将业务需求转换为功能需求； 选型阶段 注重对平台选型的技术规范真实满足程度； 实施阶段 注重从工程实施角度进行总体控制； 关注工程实施过程的每个细节，建议有专人全程参与工程的各个实施环节； 1.3.2 系统集成商系统集成商 作为本期工程的承建方， 系统集成商即具备了一定的业务需求理解能力、 以及对各软硬 件平台的集成能力。相对于其它两方，这既是其优势也是其劣势。但作为本期工程建设的关 键环节，对系统集成商的要求体现在如下几个方面： 是否能够理解各专业网管的业务需求 是否能够将各业务需求转换为应用 是否能够评估各种软硬件平台的可行性 是否对推荐的解决方案有实际的应用 是否有类似系统的成功应用案例 1.3.3 平台供应商平台供应商 作为本期工程的基础平台的支撑方，平台供应商更侧重于对技术、行业的理解、并通过 对技术的不断完善为软件应用提供各种支撑平台。 作为本期工程的基础环节， 对平台供应商 XXXX 股份有限公司 第 8 页 的要求体现在以下几个方面： 是否能够提供一体化的解决方案 提供的解决方式是否存在缺陷 提供的软硬件平台是否成熟、实用 是否在本行业有过类似的应用案例 是否能够为其它两方提供完善的服务与支撑 综上所述，我方认为选择成熟的基础平台、确定系统建设的核心、把握工程建设的各个 环节是成功本期系统成功建设的必要条件。 XXXX 股份有限公司 第 9 页 第二章第二章 系统架构系统架构 2.1 总体架构总体架构 系统总体架构采用三层式数据仓库系统构架， 包括数据仓库、 数据集市和用户前端三部 分来实现数据仓库系统。其逻辑结构如下图所示： 2.1.1 数据仓库部分数据仓库部分 数据仓库部分的主要功能， 是各个业务部门提供的数据以及相关的外来数据， 设计符合 信息分析要求的数据模型，建立自动数据处理机制，为决策分析提供完整、统一、准确的数 据来源。其数据存储在关系型数据库中。 数据仓库的主要操作包括： 数据采集，每天定时从各业务系统抽取数据； XXXX 股份有限公司 第 10 页 数据清洗，保持数据一致性、完整性； 数据转换，将数据按要求汇总、聚合或生成衍生数据，例如复杂技术指标； 数据存储：将抽取、清洗、转换后的数据按预定义的数据模型存放在关系型数据库 中。 数据管理：对存储的关系型数据进行性能优化、定期备份和日常维护，进行安全性 控制。 为了实现上述功能，我们采用 DB2 Warehouse Manager 实现数据仓库。它本身具有数据 访问，数据抽取，数据转换，和自动化处理和管理功能。它直接控制 DB2 数据库管理系统， 实现数据存储。 由于数据仓库综合了企业营业数据进行处理和存储， 因此将形成名副其实的中心信息数 据库，中心信息数据库里面包含的数据类型包括： 历史数据 准实时数据 统计和汇总数据 其他衍生数据，例如各种需要通过计算才能确定的指标等等 所有类型的数据将按照数据仓库的数据模型设计指定的方式进行主题划分、处理和存 储。因此，数据仓库的核心实际上是数据模型的设计，而数据模型的设计与中国*的详细需 求密切相关。 2.1.2 数据集市部分数据集市部分 在数据集市层面， 应根据中国*不同用户的具体的分析需求， 建立相应的分析模型以支 持不同的应用。数据集市所用的分析方法将包括： 静态报表 动态查询 多维在线分析 数据挖掘 XXXX 股份有限公司 第 11 页 在数据集市的数据存储方面，对于报表和数据挖掘模型，数据存储在关系型数据库中； 多维分析模型的数据则既可以存储在多维数据库里， 也可以存储在关系型数据库中， 当然其 数据表要求被组织成星型或者雪花型模式，以支持多维分析。 我们采用 DB2 OLAP Server 来实现多维分析，Intelligent Miner 来实现复杂数理统计和 数据挖掘；对于诸如统计日报、周报、月报等访问量大的静态报表，我们建议直接在 DB2 Warehouse Manager 中生成 DB2 数据表实现。 2.1.3 前台工具部分前台工具部分 前台工具通过配合不同的数据分析应用，用客户机或浏览器方式对数据进行可视化呈 现，使得数据更容易被理解，其价值更容易被发现，大大提高了决策的准确性和作出决策的 速度。 IBM 坚持数据仓库的开放性，支持广泛的前台工具，常用的包括 Brio，Excel，Analyzer 等三十多种。根据前台工具在中国的受欢迎程度、与 IBM 产品的连接效率以及易用性、易 开发性，本方案推荐采用 DB2 OLAP Analyzer。 DB2