ETLETL4jETLETL4j 4j ：java web java web 技术技术数据共享与交换平台数据共享与交换平台ETLETL4jETLETL4j提纲产品功能特性2产品总体介绍1产品核心功能3产品技术架构4服务体系说明5ETLETL4jETLETL4j 系统平台是对生产环境中离散的不同数据库中的业务数据进行抽取、转换并将其载入数据仓库存储库，对各类文件系统数据进行整合共享的数据集成开发管理工具。产品简介ETLETL4jETLETL4j实施成本研发成本学习成本易用性差-市面上ETL工具普遍体系庞大，学习成本高-技术门槛高，招聘难-ETL研发工期长-耗费大量人力物力-自行开发，工期长-维护成本高-业主客户很难参与-工具对客户只是个传说中的中间件 传统ETL共享交换系统的开发运维成本高，很难得到业主的认可。研发困境传统ETL研发困境ETLETL4jETLETL4j产品目标客户1. 为企业集成类项目的开发提供简单实用的ETL数据交换研发平台2. 企业可以协助业主建立起一套自己能够使用的数据中心管理平台1. 为政府和企事业建立业务与IT基础设施相分离的应用体系2. 通过平台建立数据交换的服务体系提高基础设施建设的利用率目标目标客户客户软件集成开发商信息化管理部门ETLETL4jETLETL4j产品设计目标（面向研发单位）v简单 易用，降低实施难度，提高工作效率；v满足各种复杂ETL同步规则业务 需求；v提供多种调试 手段，方便开发测试 ；v一方数据格式有变，有自动识别 修正能力；v即可以单独部署，也可系统集成，提供的二次开发API接口；v数据字典、设计 文档一键导 出，提高实施效率。ETLETL4jETLETL4j产品设计目标（面向政府企事业单位）v各类数据统一管理。实现 信息中心管理部门数据管理的基本需求；v可配置发布简单的共享服务。支持服务热部署、一键发 布；v可自行发布WebService服务。无编程基础发布数据中心的各类数据库数据服务；v多种手段监控数据生产、共享利用情况。监控各级业务 系统数据生产共享过程。ETLETL4jETLETL4j产品领先优势业主企业技术易用工具4.提供设计文档的一键导出功能，缩短设计开发周期5.简单易用的用户界面方便快速开发和监控1.是一款业主可以使用的ETL产品2.大大降低软件企业ETL开发难度3.基于J2EE技术体系，即可单独部署也可与web项目无缝集成具有一定技术前瞻性、高效稳定、基于J2EE B/S平台方便易用的二次开发、监控工具能提供给业主使用，提升推广价值ETLETL4jETLETL4j提纲产品功能特性2产品总体介绍1产品核心功能3产品技术架构4服务体系说明5ETLETL4jETLETL4j数据加工处理能力v支持各种主流的数据库及文件系统同步共享要求，支持WebService接口发布：Oracle8i/9i/10g/11gDB28.1/9.5SybaseASE12.5/15.7SqlServer2000/2005/2008MySQL4.0/5.0及以上版本Access97/2000/2003/2007PostgreSQL8.0文本文件XMLWebServiceETLETL4jETLETL4j数据加工处理能力v满足复杂共享规则抽取要求。支持全量、增量、时间戳、差异比对同步的要求；支持一个到多个、多个到一个数据库或数据库表的规则配置v支持动态表名称抽取策略。源数据库和目标数据库的数据表可动态生成v提供二次开发API开发接口。满足复杂情况下更高级Java程序开发要求ETLETL4jETLETL4j数据加工处理能力v提供异步ETL过程处理模式。数据抽取、转换 及装载过 程并行执行，实现 数据的高速处理，满足G、T级的数据转换 ；v支持各种字段级的自动转换。如类型转换、字段运算、参照转换 、字符串处理、字符集转换 、空值处 理、日期转换 、聚集运算、既定取值、字段切分、字段合并等；v支持字段映射自动匹配。可自动完成异构数据库间 数据类型的映射；v支持数据库大对象(如CLOB、LOB)的读写；ETLETL4jETLETL4j线程安全处理能力v计划任务热部署。可视化发布应用项目的修改，无需重新启动系统；v线程互斥。同一时刻，只允许同一个任务作业，杜绝数据库额外开销；v并行数据传输。采用多线程技术支持多个数据库或文件系统的并行传输；v多种定时策略配置。定时规则 可包括日、周、月、工作日、时、分、秒等，定时启动后可实现作业的循环自动运行；v可以进行人工调度干预。如调度启动、调度挂起、调度停止、调度执行等操作。ETLETL4jETLETL4j调试手段快捷高效v通过同步任务配置检查功能提供快速问题定位；v提供基于Junit的Java程序开发调试 模式，实时显示各变量在程序执行过程中的情况；v错误时 打印出数据库各类DML语句，用于数据库后台调试；v通过系统线程、任务执行过程监控，可以查找出系统耗时任务计划；v通过错误 日志快速定位系统错误 点；v提供基于共享配置的数据库性能优化方案建议。ETLETL4jETLETL4j提纲产品功能特性2产品总体介绍1产品核心功能3产品技术架构4服务体系说明5ETLETL4jETLETL4jStep 1Step 2Step 3Titleinhere共享模型设计Titleinhere运行监控服务发布Titleinhere资源目录管理1.资源目录管理 - 数据库链接、数据字典管理 - 文件服务器、FTP服务器资源管理 - 数据库定时备份计划管理2.数据共享交换模型设计 - 数据库ETL共享规则配置 - FTP服务器同步规则配置 - Web Service共享服务发布3.运行监控，服务发布 - 简单共享服务设计与发布 - 交换共享模型运行管理 - 图表实时监控服务运行情况ETL4j核心功能产品核心功能ETLETL4jETLETL4j资源目录管理（数据库）建立数据库资源目录，为接入系统的各类数据库创建数据字典。ETLETL4jETLETL4j资源目录管理（数据库备份）建立接入系统的各数据库定时备份机制。ETLETL4jETLETL4j资源目录管理（FTP服务器）建立FTP服务器各类文件系统资源配置信息。ETLETL4jETLETL4j共享交换模型设计（表间同步）ETLETL4jETLETL4j共享交换模型设计（FTP同步）ETLETL4jETLETL4j共享交换模型设计（Web Service）ETLETL4jETLETL4j提供灵活的定时策略配置工具ETLETL4jETLETL4j运行监控，错误处理提供各类同步共享任务的定时执 行和手工执行操作功能，支持任务重做。ETLETL4jETLETL4j运行监控，错误处理v提供列表和图图形化分析功能全面监监控同步共享任务务。含，执行次数、数据共享条数、耗费时间 、运行异常等。v满满足各类统计类统计 要求的设设定。可按指定年份、年份区间、月份、月份区间、日期、日期区间、小时、小时区间进 行统计 ；可以按单个或全部任务折线或柱状图对 各类信息统计 。ETLETL4jETLETL4j运行监控，错误处理ETLETL4jETLETL4j运行监控，错误处理ETLETL4jETLETL4j运行监控，错误处理ETLETL4jETLETL4j提纲产品功能特性2产品总体介绍1产品核心功能3产品技术架构4服务体系说明5ETLETL4jETLETL4j产品功能架构v 设计角色：建立数据资源目录，描述转换或作业。定义数据源、数据转换规则 和数据处理流程等v 监控运行角色：运行设计好的作业或转换，可发布简单的数据同步共享服务，进行任务调度ETLETL4jETLETL4j数据层：提供共享的数据存储平台，可以以文件或者数据库形式进行存储传输层 ：负责 完成交换数据的安全、顺序、可靠传输组件层：支撑着数据交换与共享平台工作的各类基础性构件功能层：是数据交换的核心功能所在，通过引擎完成数据的抽取、清洗、转换 、发布等主要功能服务层 ：以Web服务的方式对以下基层构件进行封装，对外提供功能产品技术架构ETLETL4jETLETL4j开发发工具Eclipse+tomcat运行环境Windows、Unix、Linux中间件Tomcat、Weblogic、WebSphere、JBoss等数据库ORACLE，SQLSERVER等JDKJDK1.6以上版本浏览器IE8.0以上版本产品运行及二次开发环境ETLETL4jETLETL4j提纲产品功能特性2产品总体介绍1产品核心功能3产品技术架构4服务体系说明5ETLETL4jETLETL4j-为专业用户提供开发、运行程序安装包。用户可根据项目灵活定制产品中全部或部分功能模块，提供各项服务支持。- 承接各种数据共享与交换服务软件项目的开发。支持在现有的软件上进行定制修改，功能的扩展，达到您想要的功能效果；- 提供产品的数据结构，代码结构，系统的框架结构，二次开发的SDK的API函数接口。- 免费无需注册。可以实现数据库表简单的一对一抽取，满足基本业务实施要求，提供复杂列数据转换插件开发API接口。1、专业版2、二次开发集成服务3、开源版产品服务体系说明ETLETL4jETLETL4jETL4jETL4j帮您以最少的投入帮您以最少的投入产生更多的价值产生更多的价值学习成本平台成本时间成本人力成本产品的核心价值ETLETL4j