文件服务器架构方案2021/8/261摘要分布式文件系统的使命FastDFS如何应对FastDFS基础应用总结：优缺点其他文件系统的对比2021/8/262分布式文件系统的使命冗余备份；负载均衡；线性扩容等机制；大量请求中高可用、高性能；容灾和可拓展性。2021/8/263FastDFS如何应对FastDFS的基本架构特征轻量级；分组方式；对等结构。2021/8/264轻量级服务端只有两角色：跟踪服务器（tracker）和存储服务器（storage）responserequest2021/8/265分组方式Tracker servers2021/8/266对等结构2021/8/267FastDFS基础应用基础操作，数据流程网络拓扑，实际应用容灾，优化，版本升级2021/8/268文件上传操作2021/8/269文件下载操作2021/8/2610文件索引解析文件的存储方式和返回文件名解析文件名包含：源头storage IP地址和文件创建时间戳、文件大小、随机数、文件拓展名。2021/8/2611网络拓扑-实施部署方案说明：tracker1+squid-1+storage1 使用一台服务器，共2台服务器2台服务器配置：centOS 6.3x64位 2核+4GB内存 + 1TB存储达到目标：1.扩充空间只需要再增加一组服务器2.2台服务器可以均衡负荷访问3.2台服务器的数据一致，解决了实时备份2021/8/2612以HTTP方式下载文件FastDFS分组存储方式，为HTTP方式下载提供了便利FastDFS支持HTTP方式下载文件，可以使用内置web server或者外部web server需要解决文件同步延迟的问题可以采取如下两种方式：tracker跳转方式：通过Tracker server跳转非tracker跳转方式：Storage server直接提供文件下载2021/8/2613HTTP下载方式一（tracker跳转）2021/8/2614HTTP下载方式一流程解读通过Tracker server解决文件同步延迟的问题Tracker server上需使用内置web serverStorage server可以使用内置web server，也可以使用外部web server。推荐使用外部web server，如apache或nginx2021/8/2615HTTP下方式二（非tracker跳转） 可以分为两种方式：跳转方式（redirect）代理方式（proxy）2021/8/2616HTTP下载方式二（redirect）2021/8/2617HTTP下载方式二（proxy）2021/8/2618HTTP下载方式二流程解读使用扩展模块来解决文件同步延迟问题如果请求文件在当前storage上不存在，通过文件ID反解出源storage，直接请求源storagetracker server上不需要任何web server在每台storage server上部署web server，直接对外提供HTTP服务目前已提供apache和nginx扩展模块推荐使用扩展模块方式2021/8/2619总结：优缺点优缺点（特性）适用业务场景2021/8/2620特性不记录文件索引信息对等结构，组内所有storage 存储一致采用异步方式将源数据服务器主动push到其他数据库服务器文件不进行分片处理客户端访问时需通过tracker指定storage2021/8/2621优点支持同一文件只保存一份，节约磁盘空间下载文件支持HTTP协议，可以使用内置Web Server，也可以和其他Web Server配合使用支持在线扩容，支持主从文件storage上可以保存文件属性（meta-data）文件不分块存储，上传的文件和OS文件系统中的文件一一对应（实现了软件RAID ）2021/8/2622缺点缺点p自带的http server端支持不足，storage 扩展建议使用nginx；p没有支持python的接口；p在服务器配置不统一时不能很好的调节磁盘空间负载压力（非动态）；p需要客户端自行记录存储信息，增加了客户端的信息管理量。2021/8/2623适用的业务场景 某大型网盘（有200个group，存储容量达到了3PB，文件数近1亿）UC （http:/www.uc.cn/，存储容量超过10TB）支付宝（http:/www.alipay.com/）飞信（http:/feixin.10086.cn/）赶集网（http:/www.ganji.com/）淘米网（http:/www.61.com/）2021/8/2624其他文件系统的对比mogileFS特点mooseFS特点TFS特点Hadoop特点2021/8/2625MogileFS特点有三个角色：tracker、storage和存储文件信息的mysql db；使用mysql来存储文件索引等信息，文件同步通过tracker调度和中转；动态冗余，灵活性一般；不支持文件附加属性（meta data）；不支持文件偏移下载。2021/8/2626MooseFS特点MooseFS文件系统结构包括以下四种角色：管理服务器 (master)，元数据日志服务器（Metalogger），数据存储服务器 (chunkservers)，客户端（client）；文件分片（64Mb）；多点备份，动态冗余备份；可以自定义文件存储路径；需要保持文件索引，内存消耗较大；对小于64Kb的数据的存储性能不高。2021/8/2627TFS（TaobaoFS）特点完全扁平化的数据组织结构，抛弃了传统文件系统的目录结构。在块设备基础上建立自有的文件系统，减少EXT3等文件系统数据碎片带来的性能损耗。单进程管理单块磁盘的方式，摒除RAID5机制。带有HA机制的中央控制节点，在安全稳定和性能复杂度之间取得平衡。尽量缩减元数据大小，将元数据全部加载入内存，提升访问速度。跨机架和IDC的负载均衡和冗余安全策略。完全平滑扩容。2021/8/2628HDFS特点1 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。2 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。3 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。4 可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。2021/8/2629附录参考资料站点：FastDFS中文：http:/www.csource.org/FastDFS英文：http:/code.google.com/p/fastdfs/2021/8/2630 刚才的发言，如刚才的发言，如有不当之处请多指有不当之处请多指正。谢谢大家！正。谢谢大家！2021/8/2631部分资料从网络收集整理而来，供大家参考，感谢您的关注！