徽商银行数据平台一期工程徽商银行数据平台一期工程 FS-LDM介绍介绍 主讲人：赵欢主讲人：赵欢徽商银行数据平台一期工程组徽商银行数据平台一期工程组20212021年年1010月月内容安排逻辑数据模型逻辑数据模型LDMLDM概览概览数据模型设计方法和步骤数据模型设计方法和步骤FS-LDMFS-LDM逻辑数据模型主题介绍逻辑数据模型主题介绍模型设计工作方案模型设计工作方案本文件署保密资料，未经本文件署保密资料，未经NCR(中国中国)的书面许可，不得翻印或外传的书面许可，不得翻印或外传什么是逻辑数据模型LDM？ 逻辑数据模型Logical Data Model是利用图形方式，通过数据和关系反映业务的一个过程，是进行数据管理、分析和交流的重要手段，也是IT和业务人员沟通的桥梁。什么是逻辑数据模型LDM？l逻辑数据模型为企业描绘出一幅整体的业务蓝图l数据模型作为商务智能的构架，首先需要构建一个强大而灵活的数据仓库作为根底，数据仓库也将会在今天以及不久的将来使用户的实力和自身价值得以增强和提高l这样的构架应该提供明细数据层面的单一数据来源。逻辑数据模型的设计理念建立一个统一的、共享的根底数据平台，为不同业务需求提供一致的、标准的数据；一个可扩展的、动态的模型能够经得住时间的考验，当业务改变时，能够将对数据模型的影响减至最小甚至完全不受影响；DW的数据模型应该是中性的，能够满足各种不同的分析逻辑的要求而设计的，因此它不同于通常所看到的为了支持某个特定的、预先定义的处理过程而设计的模型；数据模型涉及范围广阔，是多功能的和集成的；LDM在EDW中的地位ETL服务器数据清洗转换加载文本文件数据源LDM应用模型 数据仓库核心贷记卡个贷其他基金信贷国结构建LDM的方式l按方法论分为从底向上从顶至下l按是否基于某种产品万丈高楼平地起产品客户化8q模型客户化依据模型客户化依据q以成熟的模型产品为蓝本以成熟的模型产品为蓝本 NCR FS-LDMq充分考虑中信业务系统的各类信息和中信各系统资料充分考虑中信业务系统的各类信息和中信各系统资料IDq驱动模型客户化的因素驱动模型客户化的因素q在模型中记录一些模型产品中不包含的信息，这就需要对模型产品做扩展在模型中记录一些模型产品中不包含的信息，这就需要对模型产品做扩展q模型产品中的某些信息无法获取或对某些信息不感兴趣模型产品中的某些信息无法获取或对某些信息不感兴趣q某些业务规那么与模型产品假设的规那么存在差异某些业务规那么与模型产品假设的规那么存在差异q客户化的类型客户化的类型q在既有结构上新增实体和属性在既有结构上新增实体和属性q抛弃模型的某些结构抛弃模型的某些结构q对现有结构的修改对现有结构的修改q客户化必须谨慎客户化必须谨慎q考虑是否模型产品确实不适用考虑是否模型产品确实不适用q客户化的局部能解决现有系统的数据存放问题客户化的局部能解决现有系统的数据存放问题q客户化的局部要有预见性如数据的扩展、历史的变更客户化的局部要有预见性如数据的扩展、历史的变更q保持客户化局部与模型产品的设计标准、设计风格等的一致性保持客户化局部与模型产品的设计标准、设计风格等的一致性寻求模型产品与现实系统之间的平衡点数据模型产品客户化全球二百多家金融机构经验的总结描述了银行的各类业务以及这些业务之间的关系，通过定义实体、实体的属性以及实体之间的关系来描述具体的银行业务逻辑蕴含了现代商业银行分析决策和客户关系管理的各个方面是满足第三范式3NF的数据模型高起点，缩短周期、降低风险、节约投资Teradata金融业逻辑数据模型19Teradata FS-LDM 产品研发历程199619971998199920002001-22/96 Development Started8/97 Release 1.0 Retail BankingEight Major Subject AreasServices Template (not for sale) Support for Teradata Channel Management Analytics OLAP Product; Banking Enhancements 5/99 Release 2.1 For SaleInsurance (P&C/Life)Multi-currency Support for Teradata Value Analyzer Product (customer profitability) 2003 | 2004-52/00 PatentedPatented12/00 Release 4 .0Insurance EnhancementsClickstream/Web Channel supportCheck Imaging SupportCommercial BankingBrokerageCredit Card EnhancementsEnterprise Credit Risk Management Support (Basel II)Financial Mgmt/GL EnhancementsBrokerage/Invest-ment EnhancementsFinance/GL Subject Area AddedHealth InsuranceGroup Life InsuranceMarket RiskCredit Risk EnhancementsFinancial Sub Ledgers DecisionPoint Software2006 2007 Enterprise Risk Enterprise Risk Management for Management for insuranceinsurance Anti Money Anti Money LaunderingLaundering Unstructured TextUnstructured Text Call Center NavigationCall Center Navigation Campaign Campaign Opportunity, Cell, Opportunity, Cell, Step, ResponseStep, Response Salvage and Salvage and SubrogationSubrogation目前最新版本为逻辑视图逻辑视图(第三层第三层)294多个逻辑视图多个逻辑视图细节细节(第三层第三层)2117 实体实体8865 属性属性主题区域主题区域(第一层第一层)10 主题区域主题区域概念概念(第二层第二层)50 多个实体多个实体单独分离的单独分离的ERwin文件文件细节模型细节模型 和相关的以及历史的实体和数据类型密切相关，细节模型几乎可以和第三范式物理模型直接一对一对应地建立实施关系。FS-LDM 的不同层级财务财务 资产资产当事人当事人Not all relationships are shown区域区域地理区域，物理的或电子的地址单个人或一组人事件事件会导致同客户达成合同的金融或非金融的事件内部组织内部组织金融机构或保险公司内部的业务单元协议协议在客户和金融机构之间达成的关于特定产品的协议产品产品一种可以在市场上交易的产品或效劳，包括条款或条件行销活动行销活动为了获取、挽留客户或提高用户的使用率而采取的战略、方案或促销活动渠道渠道客户和金融机构或保险公司进行接触的途径企业内部的会计系统当事人所有的具有价值且能够获得受益的事物FS-LDM 主题区域TeradataLDM客户化方法论客户化方法论FSLDM介绍客户化研讨讲解模板产品当事人协议事件渠道内部机构应用验证数据验证合理性验证标准验证客户化FS-LDM前期准备工程组交流研讨分析源系统统一业务定义模型验证组建团队收集资料确定范围介绍源业务系统分析整理数据结构分析样本数据概要设计详细设计完善和回忆 Think Big， Start Small！Think from Business, Think for Business14数据模型客户化程度主题名称主题名称客户化程度客户化程度当事人（PARTY）产品（PRODUCT）协议（AGREEMENT）内部机构（INT ORGANIZATION）事件（EVENT）地域（LOCATION）营销（CAMPAIGN）渠道（CHANNEL）财务（FINANCE）当事人资产（PARTY ASSET）模型客户化的Benefitsl可以长期使用的灵活的、动态的、可扩展的模型。l开发LDM是一个好的起点，为检查是否满足需求提供检查点。l减少风险。l节省时间。能否拥有一个完美的LDMl人人希望完美l实际上时间有限人力有限预算有限l结果一个不完美但能够满足当前需求的模型关键：可扩展内容安排逻辑数据模型逻辑数据模型LDMLDM概览概览数据模型设计方法和步骤数据模型设计方法和步骤FS-LDMFS-LDM逻辑数据模型主题介绍逻辑数据模型主题介绍模型设计工作方案模型设计工作方案本文件署保密资料，未经本文件署保密资料，未经NCR(中国中国)的书面许可，不得翻印或外传的书面许可，不得翻印或外传逻辑数据模型设计主要任务：主要任务： 了解业务流程了解业务流程分析源数据分析源数据 建立实体模型建立实体模型 新建模型新建模型 建立实体模型建立实体模型 建立实体间依赖关系建立实体间依赖关系 填写并完善实体属性填写并完善实体属性 定制模型定制模型 逻辑数据模型客户化逻辑数据模型客户化 验证逻辑数据模型验证逻辑数据模型逻辑数据模型总结汇报逻辑数据模型总结汇报利用工具：利用工具：ERWinERWin交付工程：交付工程：逻辑数据模型逻辑数据模型 LDM LDM ? ?逻辑数据模型说明书逻辑数据模型说明书? ?逻辑数据模型概念逻辑数据模型是用来发现、记录和沟通业务的详细逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图蓝图基于概念数据模型CDM由一系列表和实体详细描述组成通用的业务语言便于业务与业务之间的功能理解集成当前和未来数据的蓝图独立于技术为物理数据库设计作准备是IT人员和业务人员沟通的工具发现发现属性属性发现发现关系关系发现发现实体实体1. 1. 业务规则业务规则2. ER2. ER图图3. ER3. ER建模建模逻辑数据模型(LDM)例如主要任务：主要任务： 转换逻辑数据模型转换逻辑数据模型LDMLDM为物理数据模为物理数据模型型 定义主索引、次索引定义主索引、次索引 非正那么化处理非正那么化处理denormalizationsdenormalizations 数据库建立数据库建立 设计优化设计优化 数据库功能测试数据库功能测试使用工具：使用工具： ERWwin ERWwin交付工程：交付工程： 物理数据模型物理数据模型 PDM PDM? ?物理数据模型说明书物理数据模型说明书? ? 数据库描述语言数据库描述语言 DDL DDL物理数据库设计建模方法：建模方法： 第三范式 3NF 星型结构 雪花状结构非正那么化的两种类型： 物理非正那么化派生数据 Derived Data汇总表 Summary Tables重复的Groups ( Repeating Groups) 多物理表 Multiple Physical Tables预连接 Pre-joins子实体 Sub-entities 逻辑非正那么化视图 Views逻辑星型结构 Logical Star SchemasF 物理非正那么化对模型的灵活性会有影响F 逻辑非正那么化是一个优选的方法OLAP实现非正那么化处理 ( Denormalization )物理数据模型PDM例如内容安排逻辑数据模型逻辑数据模型LDMLDM概览概览数据模型设计方法和步骤数据模型设计方法和步骤FS-LDMFS-LDM逻辑数据模型主题介绍逻辑数据模型主题介绍模型设计工作方案模型设计工作方案本文件署保密资料，未经本文件署保密资料，未经NCR(中国中国)的书面许可，不得翻印或外传的书面许可，不得翻印或外传l 是客户概念的外延l能支持不同的关系父子、雇佣、夫妻关系等l可以是一个具备相同目的的个体组合，l 如协会、社会团体、家庭、亲友团、同学会等。l可以是一个外部或内部的组织机构定义：定义：PARTYPARTY是指任意的个人或团体。比方：客户、潜在客是指任意的个人或团体。比方：客户、潜在客户、国内组织、汽车商人、竞争者、雇员、分行、部户、国内组织、汽车商人、竞争者、雇员、分行、部门等等。门等等。PartyParty唯一标识号PARTY类型代码PARTY信息的收集来源代码开始日期终止日期生命周期代码在主机的号码是否是PROVIDER是真正的客户还是潜在客户？Party分类 非正式组织 企业 内部组织 金融机构的内部组织 金融机构 个人潜在客户 当事人 机构 团体 当事人之间的关系表Party信用评级评分 当事人负债 当事人负债的信用评级 当事人的人口统计信息 客户评分 团体评分 当事人信用评级 分析模型 潜在客户评分 模型计算事件Customer Asset唯一标识号保险历史种类代码，如是否被拒保、拒赔？所在地址编号资产种类代码资产图片资料等的编号资产的描述持有人为该资产指定的账号Party Asset 客户资产 当事人 资产价值 客户资产的一些编号信息 不同种类的资产 珠宝 不动产 其他资产 宠物 汽车 游艇 投资 受赠 重建价值Internal Org定义：内部组织机构是指金融机构的内部组织和业务单元，如分行、支行、储蓄所、部门、销售团队等等。l 是一种特殊的PARTYl 包括所有的组织类型以及相互关系l 提供层次和矩阵结构l 和多个主题有关联 Internal Org特殊的PARTYOrganization是当事人的子类；Internal Organization是Organization内部组织，如部门、附属机构等；Financial Inst Int Org指金融机构的内部组织，如地区、营业网点、工作组、团队、呼叫中心等；机构企业内部组织机构金融机构内部组织金融机构Location定义： LOCATION主题是指银行希望关注或考察的任何层次的地理区域和地址。如国家、省份、城市、县、乡村等。 LOCATION主题包含“具体地址、“地区、“地理位置等不同层次的信息。 该主题和事件、产品、渠道、内部组织机构、营销活动等主题都有着密切的联系。Main StreetLocation分类地址之间的关系广义地址地区的经济指标电子地址地区地址的黄页信息街道地址的描述物理地址 地址物理邮箱地址的描述信息Productl产品是金融机构向用户销售或提供的可市场化的产品、产品包和效劳。如果有必要，在模型中可以包括竞争对象所提供的产品。l为满足银行内局部析管理的需要和适应不断变化的业务需求，可根据实际情况结合产品特性将产品分组，如个人存款产品组、公司贷款产品组等 ，这些即“产品组。l 出于市场竞争的需要，或作为市场营销的结果，将一些产品打包、捆绑销售，称其为“产品包。l 一个“产品包包含多个“产品，同时“产品包本身也是一种“产品。Product 产品和产品关系 产品和产品组的关系 产品组 产品和产品包的关系 产品包Agreement定义： 协议是金融机构与客户之间针对某种特定产品或效劳而签立的契约关系。 Agreement实质是一种合约(Contract)。银行提供某种产品或某种效劳，并给出了报价(Quotation)，客户经过申请(Application)和还价(Bargain)后接受。这时，银行就同客户达成了一个协议(Agreement)，这个协议就是帐户。 Agreementl帐户是金融机构与客户间就一特定产品达成的合同关系，一个帐户由Account Num和Account Modifier Num唯一识别。l有些金融机构需要额外的一些附加属性来唯一识别帐户，如分行代码、应用系统代码Application Id。l每个账户都对应一个产品，假设一个帐户在整个生命周期中曾拥有多个产品，那么其与历史的产品关系被保存在ACCT_PRODUCT_HISTORY中，帐户实体中只记录和当前产品的关系。Agreement -分类 保管箱账户 贷款账户 贷款评审历史 有期限的贷款账户 购物卡账户类型历史 购物卡账户 无期限贷款账户 流动账户 无期限的存款账户 有期限的存款账户 存款账户 金融账户 协议Agreement-帐户和卡 账户和卡的关系卡文件卡限额历史 信用卡 购物卡 账户卡的购物类型历史 当事人和卡的关系 卡和卡的关系Event定义：事件是一种资金或非资金的活动，记录了详细的交易行为和数据。包括开户、销户、转帐、查询、清算等。l 是“交易 概念的外延l 包含资金或非资金事件l 由银行或客户发起l 可能和账户有关，也可能无关l 假设干客户事件可以组成一个sessionl 与其他主题有密切关联 Eventl事件记录了银行的所有交互活动，可能与金钱相关，也可能与金钱无关。可能与帐户相关，也可能与帐户无关。l保存业务系统的交易流水号Transaction Id。l事件包含存款、取款、查询、付款、利息入帐等交易，利用Event Activity Type Cd可以区分不同种类的事件。EventlEVENT ACTIVITY TYPE描述了最低层次的事件活动种类，类似常见的交易码。lACTIVITY GROUP描述了对EVENT ACTIVITY TYPE的分组，类似常见的交易类型。lACTIVITY ACTIVITY GROUP描述了一个EVENT ACTIVITY TYPE可以存在多个ACTIVITY GROUP中，即一种交易类型可以包括多个交易码。Event-分类事件申请审批事件联系事件直接联系事件间接联系事件账户组事件账户事件金融账户事件金融事件不排他的分类事件关系Event-银行扩展主要包括：INTERBANK EVENTBANK EVENTCHECK EVENTINVOICE PAYMENT EVENT定义： 渠道是与客户进行交互和接触的手段和方法，通过它客户与银行发生交易并传递很多的信息。渠道一般包括:分行的柜台、呼叫中心、网络等。Channell 包括多种类型l 包括渠道的容量、分布和使用情况。l 和其他主题密切关联。Channel 类型l实体CHANNEL TYPE定义了主要的渠道类型，例如邮件，街亭，电子，ATM，柜面等等。Channel 分类l物理邮件 lATM l街亭l电子l l柜面 l电台l电视 l印刷l呼叫中心lLOCK BOXlPOS终端Campaign营销活动是为了获取、维护、增强银行与客户的关系而开展的一些促销的活动；营销活动是一些有组织的活动，其目的可以是为了把某些产品推向市场，也有可能是为了树立银行在市场上的形象；完整的营销活动应该包括营销策略、营销行为以及营销活动的反响信息；收集营销活动的信息可以帮助银行发现最有效的营销方式，了解不同类型客户对营销活动的反响；Campaign自关联，可存放所有层次的营销策略，主要记录营销活动方案收入、预计本钱等；“群众营销实体主要记录电视广告、报刊杂志广告等类型的营销活动；“目标营销实体主要记录以目标客户为对象的营销活动，而目标客户的获得是依赖于对客户信息的分析结果；营销活动实际实施的一些结果的记录；Campaign营销事件和渠道的关系营销活动和账户的关系营销活动和内部机构的关系营销活动和产品的关系营销活动和 地理位置的关系营销策略和渠道类型的关系FS-LDMFS-LDMRefreshRefresh内容安排逻辑数据模型逻辑数据模型LDMLDM概览概览数据模型设计方法和步骤数据模型设计方法和步骤FS-LDMFS-LDM逻辑数据模型主题介绍逻辑数据模型主题介绍模型设计工作方案模型设计工作方案本文件署保密资料，未经本文件署保密资料，未经NCR(中国中国)的书面许可，不得翻印或外传的书面许可，不得翻印或外传工作方案工作方案任务日期历时分类主要工作内容负责人配合人员FS-LDM客户化实施总计划2008-10-14至2008-11-0719天模型设计人员赵欢FS-LDM模型和客户化模型设计实施过程介绍2008-10-141天模型设计人员赵欢当事人主题逻辑模型设计2008-10-15至2008-10-204天模型设计人员信息分析结果交流董梅王文增模型设计人员逻辑模型ER设计Mapping2008-10-211天主题回顾逻辑模型设计回顾机构主题逻辑模型设计l 2008-10-15至2008-10-162天模型设计人员信息分析结果交流董梅模型设计人员逻辑模型ER设计Mapping地理信息主题逻辑模型设计2008-10-151天模型设计人员信息分析结果交流黄毅俊模型设计人员逻辑模型ER设计Mapping财务主题逻辑模型设计2008-10-161天模型设计人员信息分析结果交流黄毅俊模型设计人员逻辑模型ER设计Mapping工作方案工作方案任务日期历时分类主要工作内容负责人配合人员当事人资产主题逻辑模型设计2008-10-22至2008-10-232天模型设计人员信息分析结果交流董梅王文增模型设计人员逻辑模型ER设计Mapping事件主题逻辑模型设计2008-10-17至2008-10-246天模型设计人员信息分析结果交流赵欢王文增模型设计人员逻辑模型ER设计Mapping黄毅俊2008-10-271天主题回顾 逻辑模型设计回顾协议主题逻辑模型设计2008-10-17至2008-10-246天模型设计人员信息分析结果交流赵欢黄毅俊模型设计人员逻辑模型ER设计Mapping2008-10-271天主题回顾 逻辑模型设计回顾渠道主题逻辑模型设计2008-10-24至2008-10-272天模型设计人员信息分析结果交流赵欢模型设计人员逻辑模型ER设计Mapping工作方案工作方案产品主题逻辑模型设计2008-10-22至2008-10-243天模型设计人员信息分析结果交流王文增模型设计人员逻辑模型ER设计Mapping代码表逻辑模型设计2008-10-15至2008-10-226天模型设计人员信息分析结果交流黄三发模型设计人员逻辑模型ER设计参数表逻辑模型设计2008-10-15至2008-10-226天模型设计人员信息分析结果交流黄三发模型设计人员逻辑模型ER设计Mapping逻辑模型整合2008-10-28至2008-10-292天整合合并所有主题的ER文件得到整合的逻辑模型设计ER文件赵欢逻辑模型整体回顾2008-10-30至2008-10-312天整体回顾对整合后的逻辑模型进行检查赵欢物理模型设计2008-11-03至2008-11-075天整合Domain设计，命名规则转换，索引设计赵欢逻辑模型验证完善2008-11-03至2008-11-075天整合验证模型是否完全覆盖ID内容和业务需求赵欢李杰共同努力，迎接成功！