海洋信息探测与处理专业毕业论文海洋信息探测与处理专业毕业论文 精品论文精品论文 基于数据库集群基于数据库集群的海洋环境数据优化存储与分布式管理的海洋环境数据优化存储与分布式管理关键词：卫星遥感关键词：卫星遥感 海洋探测海洋探测 分布式管理分布式管理 海洋环境数据海洋环境数据 数据库集群数据库集群 海洋地理海洋地理 信息系统信息系统 并行查询并行查询摘要：由于卫星遥感等海洋探测技术的快速发展，所获得的海洋数据呈爆炸趋 势增长，数据量高达几百 GB 甚至于 TB 级的海量海洋数据库应用已经出现。海 洋环境数据存在着多源多格式、数据量大的特点，而基于互联网或局域网对这 些数据的访问又有速度、效率、可用性等方面的要求。本文针对这些问题，研 究海量数据优化存储方法以及基于数据库集群的分布式数据管理技术，提高海 洋数据管理的整体性能和系统的可靠性。论文的主要研究内容和成果如下： 1海洋环境数据优化存储研究 由于海洋环境数据应用具有面向查询的特点， 查询效率和存储空间占用量是进行海洋环境数据库建设所要考虑的最重要的因 素。基于这种实际需求，对海洋数据优化存储进行研究，研究包括三个方面： 改造传统关系存储模式；研究数据分片方法；研究相应的数据操作方法。 本 文提出了一种新的类似网格结构的关系模式 Grid_R 来管理海洋数据，该结构类 似数据采集的实际地理经纬度网格，除了时间，纬度，将所有的经度直接作为 属性列。数据分片方法以及相应的数据操作方法研究均基于 Grid_R 数据组织结 构。通过存储与组织的优化减少了数据库的数据冗余，磁盘空间占用量不到传 统方法的 1/4，减少了网络传输时的数据量，在某种意义上实现了数据压缩。 单表查询效率比传统方法提高了 4 倍以上。 2基于数据库集群技术的海量 数据分布式管理研究 传统的集中式数据库系统难以有效支持基于 WEB 的海洋 地理信息系统功能。随着数据库请求不断增加，查询方式的日益复杂，数据库 服务器的负载增加，响应单个请求的速度越来越慢，对系统的稳定运行带来了 不利影响。海量数据也对单服务器的存储能力提出挑战。 本文将数据库集群 技术应用于海洋环境数据的管理，提出使用基于中间件的数据库集群实现海量 数据的分布式管理，将数据分布于不同的数据库节点上，集群中间件系统负责 各节点的协作与并行处理，可以获得高性能、高可用性、高可扩展性，突破传 统的集中式数据库服务器上的 DBMS 所固有的性能瓶颈限制。 3海洋环境数 据库集群关键技术研究 基于优化存储结构和分布式管理策略，对数据库集群 数据分布、负载均衡以及并行查询等关键技术进行研究： 提出了一种新的数 据分布算法：两步分布法，将数据集分为分片数据集和复制数据集，两步分布 法即先均匀分布分片数据集、再按异构节点资源权值分布复制数据集，在保证 相邻数据分布在不同节点的基础上，使数据分布尽量达到均衡； 提出了一种 基于数据复制的动态负载均衡算法来平衡集群的负载，以达到提高整体性能的 目标，并解决了局部节点过热和集群可用性问题； 提出了一种并行查询算法 来实现用户对集群的透明查询，将用户的全局查询进行解析，根据元数据将全 局查询转化对各节点的本地查询，调用负载均衡获得最佳查询节点，然后在各 节点并行执行查询，最后进行重构得到最终结果，并将结果返回用户。 根据 研究成果，基于海洋大气地理信息系统 MAGIS(MarineandAtmosphericGeographicalInformationSystem)平台软件，建 设了多节点海洋环境数据库集群，并开发了集群中间件分布式海洋数据管理器，实现了海洋数据的优化存储与分布式管理，提高了系统的整体性能和可靠性。正文内容正文内容由于卫星遥感等海洋探测技术的快速发展，所获得的海洋数据呈爆炸趋势 增长，数据量高达几百 GB 甚至于 TB 级的海量海洋数据库应用已经出现。海洋 环境数据存在着多源多格式、数据量大的特点，而基于互联网或局域网对这些 数据的访问又有速度、效率、可用性等方面的要求。本文针对这些问题，研究 海量数据优化存储方法以及基于数据库集群的分布式数据管理技术，提高海洋 数据管理的整体性能和系统的可靠性。论文的主要研究内容和成果如下： 1海洋环境数据优化存储研究 由于海洋环境数据应用具有面向查询的特点， 查询效率和存储空间占用量是进行海洋环境数据库建设所要考虑的最重要的因 素。基于这种实际需求，对海洋数据优化存储进行研究，研究包括三个方面： 改造传统关系存储模式；研究数据分片方法；研究相应的数据操作方法。 本 文提出了一种新的类似网格结构的关系模式 Grid_R 来管理海洋数据，该结构类 似数据采集的实际地理经纬度网格，除了时间，纬度，将所有的经度直接作为 属性列。数据分片方法以及相应的数据操作方法研究均基于 Grid_R 数据组织结 构。通过存储与组织的优化减少了数据库的数据冗余，磁盘空间占用量不到传 统方法的 1/4，减少了网络传输时的数据量，在某种意义上实现了数据压缩。 单表查询效率比传统方法提高了 4 倍以上。 2基于数据库集群技术的海量 数据分布式管理研究 传统的集中式数据库系统难以有效支持基于 WEB 的海洋 地理信息系统功能。随着数据库请求不断增加，查询方式的日益复杂，数据库 服务器的负载增加，响应单个请求的速度越来越慢，对系统的稳定运行带来了 不利影响。海量数据也对单服务器的存储能力提出挑战。 本文将数据库集群 技术应用于海洋环境数据的管理，提出使用基于中间件的数据库集群实现海量 数据的分布式管理，将数据分布于不同的数据库节点上，集群中间件系统负责 各节点的协作与并行处理，可以获得高性能、高可用性、高可扩展性，突破传 统的集中式数据库服务器上的 DBMS 所固有的性能瓶颈限制。 3海洋环境数 据库集群关键技术研究 基于优化存储结构和分布式管理策略，对数据库集群 数据分布、负载均衡以及并行查询等关键技术进行研究： 提出了一种新的数 据分布算法：两步分布法，将数据集分为分片数据集和复制数据集，两步分布 法即先均匀分布分片数据集、再按异构节点资源权值分布复制数据集，在保证 相邻数据分布在不同节点的基础上，使数据分布尽量达到均衡； 提出了一种 基于数据复制的动态负载均衡算法来平衡集群的负载，以达到提高整体性能的 目标，并解决了局部节点过热和集群可用性问题； 提出了一种并行查询算法 来实现用户对集群的透明查询，将用户的全局查询进行解析，根据元数据将全 局查询转化对各节点的本地查询，调用负载均衡获得最佳查询节点，然后在各 节点并行执行查询，最后进行重构得到最终结果，并将结果返回用户。 根据 研究成果，基于海洋大气地理信息系统 MAGIS(MarineandAtmosphericGeographicalInformationSystem)平台软件，建 设了多节点海洋环境数据库集群，并开发了集群中间件分布式海洋数据管理器， 实现了海洋数据的优化存储与分布式管理，提高了系统的整体性能和可靠性。 由于卫星遥感等海洋探测技术的快速发展，所获得的海洋数据呈爆炸趋势增长， 数据量高达几百 GB 甚至于 TB 级的海量海洋数据库应用已经出现。海洋环境数 据存在着多源多格式、数据量大的特点，而基于互联网或局域网对这些数据的 访问又有速度、效率、可用性等方面的要求。本文针对这些问题，研究海量数据优化存储方法以及基于数据库集群的分布式数据管理技术，提高海洋数据管 理的整体性能和系统的可靠性。论文的主要研究内容和成果如下： 1海洋 环境数据优化存储研究 由于海洋环境数据应用具有面向查询的特点，查询效 率和存储空间占用量是进行海洋环境数据库建设所要考虑的最重要的因素。基 于这种实际需求，对海洋数据优化存储进行研究，研究包括三个方面：改造传 统关系存储模式；研究数据分片方法；研究相应的数据操作方法。 本文提出 了一种新的类似网格结构的关系模式 Grid_R 来管理海洋数据，该结构类似数据 采集的实际地理经纬度网格，除了时间，纬度，将所有的经度直接作为属性列。 数据分片方法以及相应的数据操作方法研究均基于 Grid_R 数据组织结构。通过 存储与组织的优化减少了数据库的数据冗余，磁盘空间占用量不到传统方法的 1/4，减少了网络传输时的数据量，在某种意义上实现了数据压缩。单表查询效 率比传统方法提高了 4 倍以上。 2基于数据库集群技术的海量数据分布式 管理研究 传统的集中式数据库系统难以有效支持基于 WEB 的海洋地理信息系 统功能。随着数据库请求不断增加，查询方式的日益复杂，数据库服务器的负 载增加，响应单个请求的速度越来越慢，对系统的稳定运行带来了不利影响。 海量数据也对单服务器的存储能力提出挑战。 本文将数据库集群技术应用于 海洋环境数据的管理，提出使用基于中间件的数据库集群实现海量数据的分布 式管理，将数据分布于不同的数据库节点上，集群中间件系统负责各节点的协 作与并行处理，可以获得高性能、高可用性、高可扩展性，突破传统的集中式 数据库服务器上的 DBMS 所固有的性能瓶颈限制。 3海洋环境数据库集群关 键技术研究 基于优化存储结构和分布式管理策略，对数据库集群数据分布、 负载均衡以及并行查询等关键技术进行研究： 提出了一种新的数据分布算法： 两步分布法，将数据集分为分片数据集和复制数据集，两步分布法即先均匀分 布分片数据集、再按异构节点资源权值分布复制数据集，在保证相邻数据分布 在不同节点的基础上，使数据分布尽量达到均衡； 提出了一种基于数据复制 的动态负载均衡算法来平衡集群的负载，以达到提高整体性能的目标，并解决 了局部节点过热和集群可用性问题； 提出了一种并行查询算法来实现用户对 集群的透明查询，将用户的全局查询进行解析，根据元数据将全局查询转化对 各节点的本地查询，调用负载均衡获得最佳查询节点，然后在各节点并行执行 查询，最后进行重构得到最终结果，并将结果返回用户。 根据研究成果，基 于海洋大气地理信息系统 MAGIS(MarineandAtmosphericGeographicalInformationSystem)平台软件，建 设了多节点海洋环境数据库集群，并开发了集群中间件分布式海洋数据管理器， 实现了海洋数据的优化存储与分布式管理，提高了系统的整体性能和可靠性。 由于卫星遥感等海洋探测技术的快速发展，所获得的海洋数据呈爆炸趋势增长， 数据量高达几百 GB 甚至于 TB 级的海量海洋数据库应用已经出现。海洋环境数 据存在着多源多格式、数据量大的特点，而基于互联网或局域网对这些数据的 访问又有速度、效率、可用性等方面的要求。本文针对这些问题，研究海量数 据优化存储方法以及基于数据库集群的分布式数据管理技术，提高海洋数据管 理的整体性能和系统的可靠性。论文的主要研究内容和成果如下： 1海洋 环境数据优化存储研究 由于海洋环境数据应用具有面向查询的特点，查询效 率和存储空间占用量是进行海洋环境数据库建设所要考虑的最重要的因素。基 于这种实际需求，对海洋数据优化存储进行研究，研究包括三个方面：改造传 统关系存储模式；研究数据分片方法；研究相应的数据操作方法。 本文提出了一种新的类似网格结构的关系模式 Grid_R 来管理海洋数据，该结构类似数据 采集的实际地理经纬度网格，除了时间，纬度，将所有的经度直接作为属性列。 数据分片方法以及相应的数据操作方法研究均基于 Grid_R 数据组织结构。通过 存储与组织的优化减少了数据库的数据冗余，磁盘空间占用量不到传统方法的 1/4，减少了网络传输时的数据量，在某种意义上实现了数据压缩。单表查询效 率比传统方法提高了 4 倍以上。 2基于数据库集群技术的海量数据分布式 管理研究 传统的集中式数据库系统难以有效支持基于 WEB 的海洋地理信息系 统功