,Altibase主存数据库产品介绍,韩国 Altibase 公司 南开创元信息技术有限公司 顾鸿翔 Email:guhongxiangg-data.com.cn,一、主存数据库技术简介 二、 Altibase 主存数据库特色,目 录,一、主存数据库技术简介,IT市场的需求 主存数据库概念 技术发展历程 主存数据库和磁盘数据库的比较 主存数据库应用的必要性和可行性 应用领域,主存数据库概念,主存数据库( MMDB: Main Memory Database )是将所有数据存于物理内存，因此能够不需要访问磁盘直接访问数据，从而获得极高的存取速度和极强的并发访问能力的数据库系统。 主存数据库与传统的基于磁盘的数据库系统（DRDB,Disk-Resident Database）的重大区别在于数据的存储介质和针对物理内存而特别设计的数据储存结构的存取机制，一般存取速度的增加在10至1000倍左右。,主存数据库定义,主存数据库和磁盘数据库的区别,主存数据库技术发展历程,从上个世纪60年代末到80年代初。在这个时期中，出现了主存数据库的雏形。1969年IBM公司研制了世界上最早的数据库管理系统-基于层次模型的数据库管理系统IMS，并作为商品化软件投入市场。在设计IMS时，IBM考虑到基于内存的数据管理方法，相应推出了IMS/VS Fast Path。 Fast Path是一个支持内存驻留数据的商业化数据库，但它同时也可以很好地支持磁盘驻留数据。在这个产品中体现了主存数据库的主要设计思想，也就是将需要频繁访问，要求高响应速度的数据直接存放在物理内存中访问和管理。在这个阶段中，包括网状数据库、关系数据库等其他各种数据库技术也都逐渐成型。,雏形期,主存数据库技术发展历程,1984年，D J DeWitt等人发表了主存数据库系统的实现技术一文。 第一次提出了Main Memory Database（主存数据库）的概念 预言当时异常昂贵的计算机主存价格一定会下降，用户有可能将大容量的数据库全部保存在主存中 提出了AVL树、哈希算法、主存数据库恢复机制等主存数据库技术的关键理论，为主存数据库的发展指出了明确的方向 1984年，D J DeWitt等人提出使用非易逝内存或预提交和成组提交技术作为主存数据库的提交处理方案，使用指针实现主存数据库的存取访问。 1985年，IBM推出了IBM 370上运行的OBE主存数据库 1986年，RB Hagman提出了使用检查点技术实现主存数据库的恢复机制。威斯康星大学提出了按区双向锁定模式解决主存数据库中的并发控制问题。并设计出MM-DBMS主存数据库。贝尔实验室推出了DALI主存数据库模型。 1987年，ACM SIGMOD会议中提出了以堆文件（HEAP FILE）作为主存数据库的数据存储结构。Southern Methodist大学设计出MARS主存数据库模型。 1988年普林斯顿大学设计出TPK主存数据库。 1990年普林斯顿大学又设计出System M主存数据库。,技术理论成熟期,主存数据库技术发展历程,随着互联网的发展，越来越多的网络应用系统需要能够支持大用户量并发访问、高响应速度的的数据库系统，主存数据库市场成熟 半导体技术快速发展，半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的技术可行性逐步成熟 1994年美国OSE公司推出了第一个商业化的，开始实际应用的主存数据库产品 Polyhedra 1998年德国SoftwareAG推出了Tamino Database。 1999年日本UBIT会社开发出XDB主存数据库产品。韩国Altibase推出Altibase 2000年奥地利的QuiLogic公司推出了SQL-IMDB 2001年美国McObject推出eXtremeDB。加拿大Empress公司推出EmpressDB,产品发展期和市场成长期,主存数据库技术发展历程,几种主存技术应用的比较,第一代 : 用户定制的主存数据库,通过应用程序来管理内存和数据. (主要目的: 提高性能) 不支持SQL语句, 不提供本地存储, 没有数据库恢复技术 性能好但很难维护和在别的应用中不能使用。 应用在实时领域比如工厂自动化生产。,第二代 : 简单功能的主存数据库,能够快速处理简单的查询 支持部分的 SQL语句和简单的恢复技术 主要目的是能够快速处理大量事务 针对简单事务处理领域,尤其是交换机, 移动通信等,第三代 : 通用的主存数据库,针对传统的商业关系型数据库领域，能够提供更高的性能、通用性以及稳定性. 提供不同的接口来处理复杂的SQL语句和满足不同的应用领域 可以应用在计费、电子商务、在线安全领域，几乎包括磁盘数据库的所有应用领域,主存数据库和磁盘数据库的比较,磁盘数据库,主存数据库,主存数据库应用的必要性,高速聚集的海量信息,快速增长的用户群,互联网的快速发展,需要新型数据库管理系统,主存数据库管理系统,极高的数据存取速度,极强的并发访问能力,满足大量并发访问,快速处理海量信息,磁盘数据库管理系统,数据库系统处理能力不足,信息服务遇到 瓶颈,信息管理系统,技术要求,主存数据库应用的可行性,半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的经济可行性逐步成熟。,经济可行性,技术可行性,64bit 芯片的普及。系统最大寻址空间决定了数据库容量。 主存 : 32 bit = 最大 4GB 寻址空间 64 bit = 几乎无限的寻址空间 高稳定性操作系统出现UNIX等操作系统发展到近年来已经非常稳定，可以承受的住几个月，甚至一年的不停的运转。这样的可靠性能大大减少了数据库系统的风险。,主存数据库应用模式-嵌入式系统模式,航空航天系统,大型IP路由系统,电信通信交换系统,主存数据库,API,卫星通讯系统,实时嵌入式操作系统,应用 1,API,应用 2,API,应用 n,应用 n,嵌入式系统,智能交通控制系统,主存数据库应用模式混合模式,冷数据 (80%),热数据 (20%),主存数据库和磁盘数据库混合使用成为 可以承担高速事务处理的关系型数据库,大型应用系统中，80%的访问是 针对DBMS中20%的数据进行的,主存数据库应用领域,混合模式应用,电子商务领域 电子商务网络运营商 ,实时行情显示、网上银行、网上证券交易系统、航空订票 系统、 国际贸易互联网谈判交易系统等大型的电子商务平台.,通信领域 通信计费营帐系统，预付费业务，前台营业处理、实时网络管理系统、CTI技术、WAP服务器、智能网络服务、增值服务系统. 多样化的网络终端服务系统 为便携电脑、手机、携带终端、游戏机、网络电视等网络终端提供互联网服务,实时系统领域 控制系统与自动化工程、电信通信、网络通信、航空航天、雷达信号处理、智能交通管理、实时GIS系统、铁道工程、POS销售终端、医疗仪器、车载信息系统、瘦客户机等,嵌入式系统模式应用,主存数据库电信应用领域,二、Altibase 主存数据库产品介绍,Altibase 主存数据库 Altibase DBMS服务器特色 Altibase 与商用磁盘数据库比较 Altibase DBMS复制功能 Altibase DBMS产品构成 Altibase 应用领域,Altibase 主存数据库,目前世界上最先进的主存数据库 Altibase Co., Ltd成立与1999年11月，先后与韩国电子通讯研究院 和美国CONSOCIO Inc. 合作 目前已应用于韩国80%的电信厂商和运营商 （包括韩国电信，Samsung . ),问题,Altibase的增强,10倍之上的性能提高 强健的稳定性和可维护性 对于实时处理系统没有额外的负 担 通过复制技术实现容错服务 使用工业化的标准（ANSI SQL） 使开发更容易 灵活的架构来反映用户不同的 需求,磁盘DBMS的局限 性能上的不满意 对整个系统过重的负担,由于应用的局限性造成的不通用 开发以及维护非常困难 系统可用性、灵活性和效率方面的降低,磁盘 DBMS,用户定制,实时系统领域,实时系统,Altibase 主存数据库的物理结构,检查点操作：同步内存和磁盘数据文件中的数据 Loganchor ： 储存磁盘数据文件和日志文件的相关信息 磁盘数据文件，Loganchor和日志文件保障了在事务失败 / 系统故障 / 媒体故障时可对数据库 进行完全恢复,Altibase 数据库内存领域 : 32K(217) Page的集合,Data Page,Catalog Page,Local(Process) or Shared Memory,数据库系统信息的储存位置 储存数据库产生的详细信息 储存除自己之外数据页列表及使用信息 启动及停止时数据库全面检查及维护变更信息,储存实数据的储存位置 由Page Header 和 Page Body构成 Page Header : 维护相互之间列表的连接信息和类型, 以自身页码构成 Page Body : 为了储存实数据分割成多个slot Slot : 储存实数据的最终储存位置,Altibase 主存数据库最大容量 32 Bit O/S : 可扩展到 217 Page 64 Bit O/S : 可扩展到 249 Page,Local or Shared Memory 均能自动扩展,Altibase 主存数据库内存结构,Altibase DBMS 产品构架,Altibase Product Architecture,Data Replication,Client & Server Applications/Tools,Real-Time Application Pgms,Physical Memory,Unlimited Database Size with 64bit,Disk Structures,Catalog Page,Data Page,Process or Shared Memory,Altibase,(Tables and Indices),IPC | UNIX DOMAIN | TCP/IP,E/SQL | CLI | ODBC | JDBC,Datafiles,Log anchor,Logfiles,Hot Tables (100%) Small sized DB,Altibase DBMS App.,单独使用Altibase,将全部数据和管理驻留在内存中.,针对需要高速处理的应用领域 CTI or HLR 实时处理系统 自动化处理、智能交通,独立Altibase DBMS Server,Cold Tables (80%),Hot Tables (20%),Disk DBMS (Oracle, Informix, Sybase, DB2, ),如何与磁盘数据库联用,Hot Tables, Gathering Real-time Data, Shared Tables, etc,Storing Cold Tables, History Data, etc,Altibase DBMS Server,Reference Site (V),Altibase 适用方案,选择时间消耗较大的的已有应用程序，转换成 Altibase 的应用程序 为了优化内存大小，把 应用程序使用的数据从 Oracle 提取，载入到 Altibase 根据需要把在 Altibase 变更的数据反映到 Oracle 数据提取, 载入, 应用程序执行等一系列 DB工作过程自动化处理,Data Migration,Disk Based RDBMS,Mig