集装箱码头数据仓库的设计与实现 摘要随着信息技术的迅猛发展，数据仓库技术在信息技术领域已经成为了研究的热点，并且日益成熟，成为信息技术领域的前沿技术。实践证明，数据仓库的建立给企业带来丰厚的收益，集装箱码头也期望能通过数据仓库的建立来提升企业的核心竞争力。本论文以集装箱码头数据仓库项目需求为基础，致力于研究集装箱码头数据仓库吞吐量主题的设计方法与应用，通过对集装箱码头业务的分析和整理，选择合适的技术路线和数据仓库架构，实现数据仓库的建立。ETL设计是数据仓库的核心，在本论文中也不例外，论文使用大量的篇幅介绍了ETL的设计方法。为了减少对源系统的影响，设计合适的ETL显得尤为重要。作者在充分分析集装箱码头业务和数据仓库技术的基础上，设计了基于时间的ETL方式。项目中采用维度建模的方式实现了集装箱码头吞吐量多维数据集，最后选择微软公司的SQL Server2008作为数据仓库存储系统，对外提供吞吐量多维数据集进行查询与分析。关键词：数据仓库，集装箱码头，ETL，维度建模，吞吐量AbstractWith the rapid development of information technology, data warehouse technology in the field of information technology has become a research focus, and more mature. Practice has proved that data warehouse bring the huge profits to the enterprise, through the container terminal is also expected to establish a data warehouse to improve the core competitiveness.Though the data warehouse requements of the project at container terminal ,the author dedicated to the research the data warehouse design method and applications for container terminal on theme of container throughput,then choose the appropriate technology roadmap and data warehouse architecture to finish the establishment of the warehouse.ETL is the most important part in data warehouse constructing,its also in this paper,the author spend a large amount of space to describe the design method of ETL. In order to reduce the impact on the source systems, ETL design is particularly important.The requirements of Container terminal is fully analysis by author,and then study on the basis data warehouse technology,so the ETL based on time was choose.Dimensional modeling was used to design the multi-dimension cube of container terminal throughput in this project. Finally,the source data were stored in Microsoft SQL Server2008 ,and supply the multi-dimension cube to view and analysis.Key Words：dw,container terminal,ETL, dimensional modeling, throughput 目录摘要iAbstractii图目录III表目录IV第1章 绪论11.1 课题背景11.2 主要的研究内容21.3本章小结3第2章 数据仓库相关技术介绍42.1 数据仓库的发展42.2 数据仓库的实现过程52.3 新兴数据仓库解决方案52.4 本章小结8第3章 业务整理与项目规划93.1 业务状况介绍93.1.1 信息系统应用状况103.1.2 报表数据的需求103.1.3 其他需求113.2 数据仓库系统阶段规划113.3 预期产出成果113.4 架构设计123.5 本章小结15第4章 数据存储结构设计164.1 数据定义的统一164.2 数据源结构描述164.3 企业数据标准化184.4 数据仓库数据结构194.4.1 数据仓库表结构194.4.2 目标数据与源数据的对应关系214.5 本章小结22第5章 面向集装箱操作时间的ETL设计235.1 ETL的实现方式235.2 吞吐量数据初始化245.3 数据增量同步275.3.1 流程总览275.3.2 ETL增量同步的具体实现285.4 本章小结31第6章 吞吐量的多维数据集设计326.1 逻辑设计326.1.1 确定主题326.1.2 粒度的确定326.1.3 确定维度表336.1.4 确定事实表366.2 多维数据集的实现376.3 本章小结39第7章 数据展示与分析417.1 办公网吞吐量展示417.2 数据仓库报表417.3 数据分析427.4 本章小结44第8章 总结与展望458.1 总结458.2 展望46参考文献47作者简历49致谢50图目录图1.1 项目所处企业信息化的位置.2 图2.1 十大数据仓库排名.4图2.2 Infobright Architecture.7图3.1 数据仓库体系结构.12图3.2 OLAP多维数据集概念图.14图3.3 数据仓库项目架构图.15图4.1 表结构范例.17图4.2 数据仓库表结构（一）.20图4.3 数据仓库表结构（二）.21图5.1 “数据流源”属性设置.25图5.2 数据仓库初始化SSIS包结构.26图5.3 增量数据ETL流程.28图5.4 Import包抓取源数据.29图5.5 导入增量数据.30图5.6 ETL执行计划.31图6.1 吞吐量维度关系.38图6.2 日期的层次关系.38图6.3 度量值的转换.39图7.1 通过MOSS展示吞吐量.41图7.2 船舶作业报表.42图7.3 集装箱吞吐量（一）.43图7.4 集装箱吞吐量（二）.43表目录表2.1Infobright性能对比.8表3.1报表分类举例.8表4.1源系统吞吐量相关表结构.17表6.1船期维度.34表6.2集装箱维度.35表6.3辅助作业维度.36表6.4集装箱作业类型纬度.36表6.5作业设备纬度.36表6.6操作员表纬度.36表6.7集装箱吞吐量事实.37表6.8辅助作业吞吐量事实.37第1章 绪论1.1 课题背景本课题来源于，宁波大榭招商国际码头（简称CMICT）。宁波大榭招商国际码头有限公司成立于2003年6月，公司是由香港招商局国际有限公司、宁波港集团、上海中信港口投资有限公司三方共同投资组建的中外合资企业。 规划建设3个10万吨级、1个7万吨级集装箱专用泊位，码头全长1500米，水深-17米，整个港区建成后总面积163.5万平方米，设计年吞吐量达240万TEU1。公司从建立至今一直保持着高速发展，在受到金融危机影响的2009年，吞吐量仍然保持近10%的增长，到达119万TEU，2010年吞吐量超过150万TEU。随着公司的发展，各业务系统的上线使用，产生的各种业务数据分布存储在不同的系统中。例如：主要生产作业量数据存储在集装箱码头操作管理系统（TOS）中，电量数据在RCMS系统、电量自动化系统中有存储但是数据意义不同，费收数据目前存储在TOS系统中以后会存储在商务计费系统中，应收账款的收款情况信息存储在财务系统中，设备加油数据存储在加油系统中，等等；目前的数据分析多是利用独立的业务数据进行数据提取分析的，无法灵活实现综合性的数据关联分析及钻取分析。如果需要对各种作业量及效率进行分析、对作业的成本进行分析、对作业的收入情况进行分析就需要建立一个适合统计分析的、便于扩展的、符合我司业务情况的统一的数据模型，从而将TOS系统中的作业数据，商务费收数据，财务收款数据，电量数据，油耗数据等业务数据统一起来，为后续的综合数据分析提供支持。下图所示中橙色部分为本次项目实施在整体企业信息规划中所处的位置，其中前端展现部分计划在企业统一信息平台中进行实现：图1.1 项目所处企业信息化的位置如图1.1所示，经过几年的信息化建设，公司的信息化基础设施、基础业务操作系统已经建设完成，目前的信息化系统已经能够满