第四章第四章 操作数据存储操作数据存储(ODS)(ODS)及及DWDW的联机分析处理的联机分析处理(OLAP)(OLAP)4.1 ODS的基本概念4.2 DB-ODS-DWDB-ODS-DW体系结构4.3 OLAP技术概述4.4 多维数据模型的OLAP操作14.1 4.1 ODSODS的的基本概念基本概念DW的贡献在于：明确提出操作型处理和分析型处理两种不同类型的数据处理，并将两者在实际中区分开来，建立起DB-DWDB-DW两层体系结构。但在很多情况下，DB-DWDB-DW的两层体系结构并不能涵盖企业所有的数据处理要求，因为操作型处理和分析型处理之间并不是泾渭分明的。企业有许多日常管理和控制的决策问题，这些问题即不是OLTPOLTP，也不是高层决策，但却是企业中层管理者经常要做且大量的工作。24.1 4.1 ODSODS的的基本概念基本概念【例】商场的市场经理经常要解决这样的问题,某某商品是否要进货？那么他要知道一些综合信息：该商品的存货是否充足，该商品的近期销售情况如何，商场目前的资金情况，还要比照其他商品的库存和销售情况。只有根据这些综合信息才能做出较为合理、可行的决策。这就导致了一种新的数据环境：操作数据存储。从而形成了DB-ODS-DWB-ODS-DW的三层体系结构。34.1 4.1 ODSODS的的基本概念基本概念1.1.ODS的定义及特点定义：是一种DW的混合形式，它包含面向主题的、集成的、可变的和最近的信息。用于支持企业日常的全局应用和决策制定，其中的数据可以作为DW的通用数据源。特点：组织方式是面向主题和集成的。 存放的数据是可变的、最近的，且可 进行联机修改。44.1 4.1 ODSODS的的基本概念基本概念2.ODS的功能和实现机制 在ODS上可实行的全局应用可分为:企业级的OLTP 和即时OLAP 两种。在ODSODS上可实现企业级的OLTPOLTP 企业级的OLTP同时涉及多个部门的数据。在面向应用的操作型DB环境中，企业数据绝大部分是局部的，且缺乏一致性。因此在这样的环境中进行企业级的OLTP代价很大，因为首先要集成。54.1 4.1 ODSODS的的基本概念基本概念ODSODSODSODS的功能和实现机制的功能和实现机制的功能和实现机制的功能和实现机制ODS中的数据是面向企业全局集成的，所以建立于ODS之上的OLTP可快速实现对企业中数据的全局集中管理。为了实现企业级OLTP，在ODS与DB之间必须要有双向映射关系，以保证双方的一致性。而维护ODS与DB间的一致性是实现企业级OLTP的关键。6反映的关系是ODS全局更新时所必须反映到的所有DB中相关记录的信息。全局更新全局更新 时应反映时应反映 到的各到的各DB DB 中的记录中的记录定义在各DB中的记录系统记录系统定义参考表参考表分散分散DBDB环境环境ODSODS环境环境 应用应用C C 应用应用A A 应用应用B BODSODS和和DBDB的双向映射关系的双向映射关系表达的是ODS从DB的数据抽取关系。在该记录系统上所做的任何修改操作都要反映在相应的ODS记录中。74.1 4.1 ODSODS基本概念基本概念ODSODSODSODS的功能和实现机制的功能和实现机制的功能和实现机制的功能和实现机制在ODSODS上可实现即时OLAPOLAP 即时OLAPOLAP：决策过程并不需要参考太多的历史数据，主要参考和存取及时的和最近的数据，并要求有较快的响应速度。即时OLAPOLAP 是建立ODSODS的主要目的之一。一般在DWDW上实现OLAPOLAP是为了进行长期趋势分析，由于D DW W中数据量十分庞大，OLAPOLAP运行时间都较长，所以即时OLAPOLAP不适宜在DWDW上进行。而ODSODS的数据量远较DW小，因此可以迅速获得决策信息。84.1 4.1 ODSODS基本概念基本概念ODSODSODSODS的功能和实现机制的功能和实现机制的功能和实现机制的功能和实现机制在ODS环境中即可进行企业级OLTP，又可实现即时OLAP。两种不同的数据处理需要不同的工作模式，技术支持也存在很大的差别。解决的办法：引入“动态切换”，即在系统中设置一个状态切换开关，使ODS系统在操作型环境和分析型环境之间进行动态切换。9【例】学校中有关教员的完整信息是被分散存放在学校的各部门DB中，现在若有教员因故调离，则要按规章办理手续。在DBS中，调离手续繁琐耗时。而在ODS系统中，可以开发教员调离全局应用，这就等于将学校的有关调离手续的规章反映在应用系统中，从而自动地保证了规定的制度得以不折不扣地执行。DB人事处人事处校医院校医院DB财务处财务处房管处房管处DB科研处科研处ODS部门应用部门应用部门应用部门应用部门应用部门应用部门应用部门应用部门应用部门应用104.1 4.1 ODSODS基本概念基本概念ODSODSODSODS的功能和实现机制的功能和实现机制的功能和实现机制的功能和实现机制在ODS系统上开发全局应用的优点主要有两方面：在进行全局应用时无需再进行数据集成，极大提高了全局应用处理的效率。如教员调离事务在ODS上进行，各部门的更新均是对ODS中有关教员的同一关系模式进行，从而实现全局一致的更新。在各部门的DB可进行全局应用。如该教员在人事处办理了调离手续，这一变化必将被ODS的感知程序捕捉到并转发给其他部门，从而实现全局的更新操作，该工作由ODS系统自动完成。114.1 4.1 ODSODS基本概念基本概念ODSODSODSODS的功能和实现机制的功能和实现机制的功能和实现机制的功能和实现机制分层ODS体系ODS的作用和地位与企业性质，经营的业务范围，规模大小等实际情况紧密相联。有的主要是进行全局事务处理，而有的则主要是即时OLAP。对地理上分布的集团公司，ODS系统可建成分层次的。12分分ODS分分ODS分分ODS北京北京上海上海东京东京纽约纽约分层分层ODSODS示意图示意图总部总部ODS13第四章第四章 操作数据存储操作数据存储(ODS)(ODS)及及DWDW的联机分析处理的联机分析处理(OLAP)(OLAP)4.1 ODS的基本概念4.2 DB-ODS-DWDB-ODS-DW体系结构4.3 OLAP技术概述4.4 多维数据模型的OLAP操作144.2 4.2 DB-ODS-DWDB-ODS-DW体系结构体系结构1.1.ODS与DW的差别面向主题和集成性使得ODSODS的数据在静态特征上很接近DWDW中的数据，但仍有许多基本和重要的差别: 存放的数据内容不同（最大差别） ODSODS：当前或接近当前数据,细节数据,可联 机更新 DWDW： 历史数据,细节数据和综合数据,不可 变快照 数据量是不同等级154.2 4.2 DB-ODS-DWDB-ODS-DW体系结构体系结构ODSODSODSODS与与与与DWDWDWDW的差别的差别的差别的差别 技术支持不同 ODSODS: : 要支持面向记录的联机更新，又要保 证数据与源数据库系统中数据的一致 性,需要的技术支持同面向应用的DBSDBS 一样复杂。 DWDW: : 只需支持装入和存取164.2 4.2 DB-ODS-DWDB-ODS-DW体系结构体系结构ODSODSODSODS与与与与DWDWDWDW的差别的差别的差别的差别 面向的需求不同 ODSODS: : 满足企业的全局应用(企业级OLTPOLTP和 即时OLAP)OLAP)或作为DWDW的通用数据源 DWDW：长期趋势分析或战略决策 用户不同 ODSODS：企业的中层管理者 DWDW：DSSDSS分析员或企业高级决策者174.2 4.2 DB-ODS-DWDB-ODS-DW体系结构体系结构2.DB-ODS-DW三层体系结构DW与ODS面向不同的用户、不同的需求，都有其不可替代的作用，彼此间不是相互包含的，同时两者又可以相互结合、相互补充。DBDBDBDBDBDBODSODSDWDW应用应用操作型环境操作型环境分析型环境分析型环境在在DBDB、ODSODS、DWDW三者并三者并存的体系环境下，存的体系环境下，ODSODS的引入带来了许多新的的引入带来了许多新的特点和优点。特点和优点。184.2 4.2 DB-ODS-DWDB-ODS-DW体系结构体系结构三层体系结构三层体系结构三层体系结构三层体系结构ODSODS在“DB-ODS-DWDB-ODS-DW”体系结构中的作用： ODSODS充当“承上启下”的角色 一方面在原来独立的各个DB基础上建立了一个一致的、面向主题的数据环境，使原有的DBS得到改造。 另外，ODS将DW和DB隔离开，使DW卸去数据集成、结构转换等负担，DW的数据追加通过ODS进行而变得异常简单，极大简化了DW的数据传输接口及DW管理数据的复杂度。194.2 4.2 DB-ODS-DWDB-ODS-DW体系结构体系结构三层体系结构三层体系结构三层体系结构三层体系结构 ODSODS简化了DWDW与操作型环境的界面无论DW还是ODS，数据都来源于自己的记录系统。建立ODS后，ODS的记录系统在各应用中，DW的记录系统在ODS中。ODS中的中的数据经变换后移入DW中，由于数据已经过ODS集成，并且是面向主题组织的，所以所作的变换仅限于数据模式上某些差异的转换,以及对码结构的改造。这样使得DW与操作型环境的界面变得简单了。204.2 4.2 DB-ODS-DWDB-ODS-DW体系结构体系结构三层体系结构三层体系结构三层体系结构三层体系结构 ODSODS满足了企业级全局应用的需求现实的系统多为非集成的复杂系统，在企业管理中，不仅要获得长期决策信息，也要进行日常决策，ODSODS系统的建设，弥补了DB-DWDB-DW两层体系结构的不足。ODSODS作出的即时决策是集成性、企业级的。这对企业进行中层管理，制订短期决策极有帮助。但ODSODS不是必须的，要视分析处理的需求而定。21第四章第四章 操作数据存储操作数据存储(ODS)(ODS)及及DWDW的联机分析处理的联机分析处理(OLAP)(OLAP)4.1 ODS的基本概念4.2 DB-ODS-DWDB-ODS-DW体系结构4.3 OLAP技术概述4.4 多维数据模型的OLAP操作224.3 OLAP4.3 OLAP技术概述技术概述DW是进行决策分析的基础，它解决了信息的存储问题，提高了数据的存储效率，但还需要结合数据分析技术，才能真正为决策服务。联机分析处理（OLAP）即是应用在DW基础上的一种数据分析技术。1.数据仓库系统的结构数据仓库系统是以数据仓库为基础，通过查询工具和分析工具，完成对信息的提取，满足用户的各种需求。23提取提取, ,清清理转换理转换, ,装入刷新装入刷新输出输出查询/报告分析数据挖掘OLAPOLAP服务器OLAPOLAP服务器监控 管理元数据存储数据仓库数据集市操作数据库外部数据源顶层：前端工具中间层：OLAPOLAP服务器底层：DWDW服务器数据数据仓库系统结构图244.3 OLAP4.3 OLAP技术概述技术概述DWSDWSDWSDWS的结构的结构的结构的结构DWS是多种技术的综合体，它由数据仓库(DW)、数据仓库管理系统(DWMS)、数据仓库工具三个部分组成。DW居于整个系统的核心地位，是信息挖掘的基础。DWMS负责整个系统的运转，是整个系统的引擎。DW工具则是整个系统发挥作用的关键，只有通过高效的工具，DW才能真正发挥出数据宝库的作用。254.3 OLAP4.3 OLAP技术概述技术概述DWSDWSDWSDWS的结构的结构的结构的结构在DWS的整个结构中，为用户服务的前端工具是最直观、最能让用户感受到DW环境的部分，因此前端工具必须要能够被有效地集成到新的数据分析环境中去。近年常用的一些DW分析工具主要有：OLAP、数据挖掘、统计分析、联机挖掘等，还有一些数据查询工具。264.3 OLAP4.3 OLAP技术概述技术概述2.数据分析的模型与相应工具数据分析的四种模型绝对模型：属于静态数据分析，它通过比较历史数据和行为来描述过去发生的事情。解释模型：属于静态数据分析，它通过多层次的综合路径层层细化，找出事实发生的原因。思考模型：属于动态数据分析，它通过引入一组具体变量或参数后，预测将来会发生什么。公式模型：最高级动态数据分析，它知道需要引入哪些变量或参数以及所产生的结果。274.3 4.3 OLAPOLAP技术概述技术概述 数据分析的模型与相应工具数据分析的模型与相应工具数据分析的模型与相应工具数据分析的模型与相应工具数据分析的三种工具类型查询工具: 指对分析结果的查询，而不是记录级的查询。验证型工具: 从数据仓库中发现事实，实现数据分析的前三种模型。挖掘型工具: 从大量数据中发现数据模式，预测趋势和行为，实现第四种分析模型。284.3 OLAP4.3 OLAP技术概述技术概述3.联机分析处理（OLAP）OLAP是近年来十分流行的DW主要的前端支持工具。OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念。 OLAP也可说是多维数据分析工具的集合，这种工具用于帮助高级用户从精细、多维、复杂的角度分析数据。294.3 4.3 OLAPOLAP技术概述技术概述 - - - -联机分析处理联机分析处理联机分析处理联机分析处理OLAP的维分析视图冲破了物理的三维概念，采用了旋转、嵌套、切片、钻取和高维可视化技术，在屏幕上展示多维视图的结构。用户不再需要编写复杂的查询语句，只要借助OLAP系统的用户图形界面，就可直观的深入了解包含在数据中的信息。30第四章第四章 操作数据存储操作数据存储(ODS)(ODS)及及DWDW的联机分析处理的联机分析处理(OLAP)(OLAP)4.1 ODS的基本概念4.2 DB-ODS-DWDB-ODS-DW体系结构4.3 OLAP技术概述4.4 多维数据模型的OLAP操作314.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作在多维数据模型中，数据组织成多维，每维包含由概念分层定义的多个抽象层，最终用户能从多个角度，多侧面地观察DBDB中的数据，从而深入了解包含在数据中的信息、内涵。下面介绍典型的多维数据OLAPOLAP操作:324.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作1.1.切片定义1：在给定数据立方体的一个维上进行选 择，导致一个子方的操作称为切片操 作。定义2：选定多维数组的一个二维子集的动作 叫作切片。33切片切片广州广州上海上海北京北京南京南京计算机计算机安全安全家庭娱乐家庭娱乐电话电话605 825 14 400类型类型城城市市Q1Q1Q2Q2Q3Q3Q4Q4计算机计算机安全安全家庭娱乐家庭娱乐电话电话南京南京北京北京上海上海广州广州6056058258251440040039539515601560440440地区地区( (城市城市) )时间时间( (季季) )类型类型【例例1 1】对对时间时间维维的切片操作，它对的切片操作，它对中心数据立方体使中心数据立方体使用条件用条件: :时间时间=“Q1”=“Q1”选择销售选择销售数据。数据。344.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作2.2.切块定义1：在给定数据立方体的两个或多个维上 执行选择，定义子方的操作称为切块 操作。定义2：选定多维数组的一个三维子集的动作 称为切块。35【例2】涉及三个维的切块，条件为:(地点=“南京”OROR“北京”)ANDAND(时间=“Q1”OROR“Q2”)ANDAND(类型=“家庭娱乐”OROR“计算机”）Q1Q1Q2Q2Q3Q3Q4Q4计算机计算机安全安全家庭娱乐家庭娱乐电话电话南京南京北京北京上海上海广州广州605825144003951560440地区地区( (城市城市) )时间时间( (季季) )类型类型切块切块计算机计算机家庭娱乐家庭娱乐Q1Q1Q2Q2南京南京北京北京605395364.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作3.3.旋转改变一个页面显示的维方向的操作称为旋转（或转轴）。37广州广州上海上海北京北京南京南京计算机计算机安全安全家庭娱乐家庭娱乐电话电话605 825 14 400类型类型城城市市广州广州上海上海北京北京南京南京计算机计算机安全安全家庭娱乐家庭娱乐电话电话类型类型城市城市40014825605旋转旋转【例3】类型和地区在一个2-D2-D切片上转动。384.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作4.4.上卷 通过一个维的概念分层向上攀升或者通过维归约，在数据立方体上进行聚集，称为上卷操作。 【例4】在中心数据立方体的地区维层次向上攀升，执行上卷操作。（这个分层被定义为全序：县 城市 州或省 国家）39Q1Q1Q2Q2Q3Q3Q4Q4计算机计算机安全安全家庭娱乐家庭娱乐电话电话南京南京北京北京上海上海广州广州605825144003951560440地区地区( (城市城市) )Q1Q1Q2Q2Q3Q3Q4Q4计算机计算机安全安全家庭娱乐家庭娱乐电话电话江苏省江苏省广东省广东省地区地区（省）（省）按地区上卷按地区上卷( (城市到省城市到省) )上卷上卷404.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作5.5.下钻下钻是上卷的逆操作，它由不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下或引入新的维来实现。 【例5】沿着天 月 季 年定义的日期维的概念分层向下，在中心数据立方体执行下钻操作：41北京北京南京南京上海上海广州广州1 1月月2 2月月3 3月月4 4月月5 5月月6 6月月7 7月月8 8月月9 9月月1010月月1111月月1212月月时间时间( (月月) )地区地区( (城市城市) )150150100100150150计算机计算机安全安全家庭娱乐家庭娱乐电话电话从季到月从季到月下钻下钻424.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作6.其他OLAP操作钻过：执行涉及多个事实表的查询钻透：操作使用关系SQLSQL机制，钻到数据立方体的底层，到后端关系表。OLAPOLAP操作还可列出表中最高或最低的N N项，以计算移动平均值、增长率、利润、内部返回率、贬值、流通转换和统计功能。434.4 4.4 多维数据模型的多维数据模型的OLAPOLAP操作操作 其他其他其他其他OLAPOLAPOLAPOLAP操作操作操作操作OLAPOLAP提供了分析建模机制，包括推导比率、变差等，以及跨越多维计算度量的计算引擎。它能在每一粒度级和在所有维的交叉产生汇总、聚集和分层。OLAPOLAP也支持预报、趋势分析和统计分析的函数模型。在这种意义下，OLAPOLAP是一种强有力的数据分析工具。44 第四章结束 45