计算机科学与技术专业毕业论文计算机科学与技术专业毕业论文 精品论文精品论文 分布式文件系统小分布式文件系统小文件性能优化技术研究与实现文件性能优化技术研究与实现关键词：分布式文件系统关键词：分布式文件系统 对象存储对象存储 I/OI/O 性能性能 缓存技术缓存技术 CacheCache 结构结构摘要：分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为 高性能计算平台存储系统的首选，已经在军事技术、天气预报等环境中得到广 泛应用。相比其它文件系统，它具有两个特点：一是通过数据的分布存储，来 提供更大的存储空间，并利用并行的 I/O 服务模式提供更高的 I/O 带宽；二是 通过使用各种新颖的分布式存储体系结构，来为应用程序提供更丰富的 I/O 模 式。比如通过使用对象存储技术，为应用程序提供面向对象的数据存储格式， 并提供 Peta 级大小的存储空间。 Lustre 是典型的基于对象存储体系结构 的并行文件系统，它起源于卡耐基梅隆大学的 Coda 项目研究工作，已经成为当 前高性能计算领域使用最广泛的并行文件系统之一。Lustre 具有良好的大文件 I/O 性能，但是由于 Lustre 使用分布式的存储体系结构，文件元数据和数据分 开存储，它的小文件 I/O 性能低下，甚至不如本地文件系统。本文以 Lustre 为 具体研究对象，通过研究 Lustre 的存储体系结构和实现原理，在 Lustre 的 OST 组件中设计并实现了一种分布独立式的小文件 Cache 结构：Filter Cache。该方法通过扩展 Lustre 的 OST 端的数据通路，在原有数据通路的基础 上，增加对小对象 I/O 的缓存措施，以此来改善 Lustre 的小文件性能。测试表 明：使用 Filter Cache 方法之后，Lustre 的小文件 I/O 性能得到了很好的改 善，在 Cache 资源全命中时，读性能最大能够提高 65。 命中率和访问延 迟是 Cache 系统中最重要的两个指标。本文研究了 Cache 技术的设计思想和实 现技术，设计了对 Filter Cache 方法的优化方案。优化方案主要针对方法使用 的资源结构、Cache 置换算法和 Cache 读写流程。本文下一步工作将进一步完 善这些优化措施的设计，并进行实现。 最后，本文对分布式文件系统中的另 一种 Cache 结构：协作一对象 Cache 进行了研究，详细介绍了其特点和实现， 对比了该 Cache 结构和 Filter Cache 方法的不同点，根据它的优点提出了两点 对 Filter Cache 方法的改进思想。正文内容正文内容分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高 性能计算平台存储系统的首选，已经在军事技术、天气预报等环境中得到广泛 应用。相比其它文件系统，它具有两个特点：一是通过数据的分布存储，来提 供更大的存储空间，并利用并行的 I/O 服务模式提供更高的 I/O 带宽；二是通 过使用各种新颖的分布式存储体系结构，来为应用程序提供更丰富的 I/O 模式。 比如通过使用对象存储技术，为应用程序提供面向对象的数据存储格式，并提 供 Peta 级大小的存储空间。 Lustre 是典型的基于对象存储体系结构的并 行文件系统，它起源于卡耐基梅隆大学的 Coda 项目研究工作，已经成为当前高 性能计算领域使用最广泛的并行文件系统之一。Lustre 具有良好的大文件 I/O 性能，但是由于 Lustre 使用分布式的存储体系结构，文件元数据和数据分开存 储，它的小文件 I/O 性能低下，甚至不如本地文件系统。本文以 Lustre 为具体 研究对象，通过研究 Lustre 的存储体系结构和实现原理，在 Lustre 的 OST 组 件中设计并实现了一种分布独立式的小文件 Cache 结构：Filter Cache。该方 法通过扩展 Lustre 的 OST 端的数据通路，在原有数据通路的基础上，增加对小 对象 I/O 的缓存措施，以此来改善 Lustre 的小文件性能。测试表明：使用 Filter Cache 方法之后，Lustre 的小文件 I/O 性能得到了很好的改善，在 Cache 资源全命中时，读性能最大能够提高 65。 命中率和访问延迟是 Cache 系统中最重要的两个指标。本文研究了 Cache 技术的设计思想和实现技 术，设计了对 Filter Cache 方法的优化方案。优化方案主要针对方法使用的资 源结构、Cache 置换算法和 Cache 读写流程。本文下一步工作将进一步完善这 些优化措施的设计，并进行实现。 最后，本文对分布式文件系统中的另一种 Cache 结构：协作一对象 Cache 进行了研究，详细介绍了其特点和实现，对比 了该 Cache 结构和 Filter Cache 方法的不同点，根据它的优点提出了两点对 Filter Cache 方法的改进思想。 分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能 计算平台存储系统的首选，已经在军事技术、天气预报等环境中得到广泛应用。 相比其它文件系统，它具有两个特点：一是通过数据的分布存储，来提供更大 的存储空间，并利用并行的 I/O 服务模式提供更高的 I/O 带宽；二是通过使用 各种新颖的分布式存储体系结构，来为应用程序提供更丰富的 I/O 模式。比如 通过使用对象存储技术，为应用程序提供面向对象的数据存储格式，并提供 Peta 级大小的存储空间。 Lustre 是典型的基于对象存储体系结构的并行文 件系统，它起源于卡耐基梅隆大学的 Coda 项目研究工作，已经成为当前高性能 计算领域使用最广泛的并行文件系统之一。Lustre 具有良好的大文件 I/O 性能， 但是由于 Lustre 使用分布式的存储体系结构，文件元数据和数据分开存储，它 的小文件 I/O 性能低下，甚至不如本地文件系统。本文以 Lustre 为具体研究对 象，通过研究 Lustre 的存储体系结构和实现原理，在 Lustre 的 OST 组件中设 计并实现了一种分布独立式的小文件 Cache 结构：Filter Cache。该方法通过 扩展 Lustre 的 OST 端的数据通路，在原有数据通路的基础上，增加对小对象 I/O 的缓存措施，以此来改善 Lustre 的小文件性能。测试表明：使用 Filter Cache 方法之后，Lustre 的小文件 I/O 性能得到了很好的改善，在 Cache 资源 全命中时，读性能最大能够提高 65。 命中率和访问延迟是 Cache 系统中 最重要的两个指标。本文研究了 Cache 技术的设计思想和实现技术，设计了对Filter Cache 方法的优化方案。优化方案主要针对方法使用的资源结构、 Cache 置换算法和 Cache 读写流程。本文下一步工作将进一步完善这些优化措 施的设计，并进行实现。 最后，本文对分布式文件系统中的另一种 Cache 结 构：协作一对象 Cache 进行了研究，详细介绍了其特点和实现，对比了该 Cache 结构和 Filter Cache 方法的不同点，根据它的优点提出了两点对 Filter Cache 方法的改进思想。 分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能 计算平台存储系统的首选，已经在军事技术、天气预报等环境中得到广泛应用。 相比其它文件系统，它具有两个特点：一是通过数据的分布存储，来提供更大 的存储空间，并利用并行的 I/O 服务模式提供更高的 I/O 带宽；二是通过使用 各种新颖的分布式存储体系结构，来为应用程序提供更丰富的 I/O 模式。比如 通过使用对象存储技术，为应用程序提供面向对象的数据存储格式，并提供 Peta 级大小的存储空间。 Lustre 是典型的基于对象存储体系结构的并行文 件系统，它起源于卡耐基梅隆大学的 Coda 项目研究工作，已经成为当前高性能 计算领域使用最广泛的并行文件系统之一。Lustre 具有良好的大文件 I/O 性能， 但是由于 Lustre 使用分布式的存储体系结构，文件元数据和数据分开存储，它 的小文件 I/O 性能低下，甚至不如本地文件系统。本文以 Lustre 为具体研究对 象，通过研究 Lustre 的存储体系结构和实现原理，在 Lustre 的 OST 组件中设 计并实现了一种分布独立式的小文件 Cache 结构：Filter Cache。该方法通过 扩展 Lustre 的 OST 端的数据通路，在原有数据通路的基础上，增加对小对象 I/O 的缓存措施，以此来改善 Lustre 的小文件性能。测试表明：使用 Filter Cache 方法之后，Lustre 的小文件 I/O 性能得到了很好的改善，在 Cache 资源 全命中时，读性能最大能够提高 65。 命中率和访问延迟是 Cache 系统中 最重要的两个指标。本文研究了 Cache 技术的设计思想和实现技术，设计了对 Filter Cache 方法的优化方案。优化方案主要针对方法使用的资源结构、 Cache 置换算法和 Cache 读写流程。本文下一步工作将进一步完善这些优化措 施的设计，并进行实现。 最后，本文对分布式文件系统中的另一种 Cache 结 构：协作一对象 Cache 进行了研究，详细介绍了其特点和实现，对比了该 Cache 结构和 Filter Cache 方法的不同点，根据它的优点提出了两点对 Filter Cache 方法的改进思想。 分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能 计算平台存储系统的首选，已经在军事技术、天气预报等环境中得到广泛应用。 相比其它文件系统，它具有两个特点：一是通过数据的分布存储，来提供更大 的存储空间，并利用并行的 I/O 服务模式提供更高的 I/O 带宽；二是通过使用 各种新颖的分布式存储体系结构，来为应用程序提供更丰富的 I/O 模式。比如 通过使用对象存储技术，为应用程序提供面向对象的数据存储格式，并提供 Peta 级大小的存储空间。 Lustre 是典型的基于对象存储体系结构的并行文 件系统，它起源于卡耐基梅隆大学的 Coda 项目研究工作，已经成为当前高性能 计算领域使用最广泛的并行文件系统之一。Lustre 具有良好的大文件 I/O 性能， 但是由于 Lustre 使用分布式的存储体系结构，文件元数据和数据分开存储，它 的小文件 I/O 性能低下，甚至不如本地文件系统。本文以 Lustre 为具体研究对 象，通过研究 Lustre 的存储体系结构和实现原理，在 Lustre 的 OST 组件中设 计并实现了一种分布独立式的小文件 Cache 结构：Filter Cache。该方法通过 扩展 Lustre 的 OST 端的数据通路，在原有数据通路的基础上，增加对小对象I/O 的缓存措施，以此来改善 Lustre 的小文件性能。测试表明：使用 Filter Cache 方法之后，Lustre 的小文件 I/O 性能得到了很好的改善，在 Cache 资源 全命中时，读性能最大能够提高 65。 命中率和访问延迟是 Cache 系统中 最重要的两个指标。本文研究了 Cache 技术的设计思想和实现技术，设计了对 Filter Cache 方法的优化方案。优化方案主要针对方法使用的资源结构、 Cache 置换算法和 Cache 读写流程。本文下一步工作将进一步完善这些优化措 施的设计，并进行实现。 最后，本文对分布式文件系统中的另一种 Cache 结 构：协作一对象 Cache 进行了研究，详细介绍了其特点和实现，对比了该 Cache 结构和 Filter Cache 方法的不同点，根据它的优点提出了两点对 Filter Cache 方法的改进思想。 分布式文件系统以