目录:_1.ETL基本概念2增量ETL总体规划3性能分析和优化4总结“了解ETL基本概伊“分享目前的ETL总体规划思路“关合探讨有效的ETL实旋方法目录:_ETL基本概念增量ETL总体规划性能分析和优化总结念红P视5丿ETL定义:ETL分别是“Bxtract“、“Transfora“、“Load“个单词的首字母缩写,也就是代表ETL过程的三个最主要步骤:“抽取“、“转换“、“装载“,但我们平时往往简称其为数据抽取。ETL是BI/DW(商务智能/数据仓库的核心和灵魂,按照统一的规则集成五提高数据的价值,是货责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤明动5n定X:ETL过程的三个最主要步骠“抽取“:将数据从各种原始的业务系统中读取出来,这是所有工作的前提“转换“:按照预先设计好的规则将抽取的数据进行转换,使本来异构的数据格式能统一起来戛装载等转挨完的数据挚许创增量或全帷导公到救据仓库屋7501教据加载策略:ETL数据加载策略分为全量ETL和增量ETL两种方式。全量ETL:最常见的方法为全表删除插入方式、物化视图完全刷新方式等。增量ETL:最常见的方法有触发器方式、时间戳方式、日志表方式、全表比对方式、物化视图任速刷新方式等.目录:_ETL基本概念增量ETL总体规划性能分析和优化总结怀2挂社增量ETL总体规划首先介绍一下我们目前采用的ETL数据加载策略:按源数据表数据量的大小分以下几个加载策略:1、维度表和数据量小的事实表采用物化视图完全刷葛友式2、数据量大的事实表:5采用增量rL方式-“咤命命sRtOu.col由事实表数据二次ETL产华常见的聪集方式,建立物化视图处理等宏至刷新、使用存傅过程增量ETL总体规划屋厂堤垢ETI规划思路:1、确定增量ETL实现方式。2、设计增量ETL流程。3、确定是否使用序列号填充代理键字段值。增量ETL总体规划屋厂堤坷ETI规划思路:1、确定增量ETL实现方式。2、设计增量ETL流程。3、确定是否使用序列号填充代理键字段值。