大话SSD淘宝核心系统数据库组褚霸2011/06/25大话SSD(淘宝核心系统数据库组褚霸)Agenda初见 相识相知相爱 大话SSD(淘宝核心系统数据库组褚霸)存储设备IOPS演变史设备设备IOPS接口接口7200RPMSATAdrives90IOPSSATAII15kRPMSCSIdrives180IOPSSASIntelX25-MG2(MLC)8,600IOPSSATAIIioDrive,aPCI-ExpresscardwithFlashwithFlash140,000ReadIOPS,135,000WriteIOPSPCIeFusion-ioioDriveOctal1,180,000+RandomRead/WriteIOPSPCIe大话SSD(淘宝核心系统数据库组褚霸)存储设备价格对照设备设备价格价格/每每GBSATA7200转0.1USDSAS10000转0.4USDIntelX25-M160G*USDFusionIOiodriveMLC320G*USDViridenttachionSLC400G*USD大话SSD(淘宝核心系统数据库组褚霸)淘宝使用案例CDNIC库TC主库TC读库OceanbaseVstore图像搜索Tair.大话SSD(淘宝核心系统数据库组褚霸)Agenda初见相识相知相爱大话SSD(淘宝核心系统数据库组褚霸)PCI-E/SATA接口大话SSD(淘宝核心系统数据库组褚霸)IntelX25-M/SATA大话SSD(淘宝核心系统数据库组褚霸)FusionIOiodrive/PCI-E大话SSD(淘宝核心系统数据库组褚霸)Viridenttachion/PCI-E大话SSD(淘宝核心系统数据库组褚霸)SSD写入如何发生的呢？大话SSD(淘宝核心系统数据库组褚霸)背景知识1：Nand芯片擦写次数GenerationSLCMLCeMLC2x100,0002,5003x100,0005,00035,0005x100,00010,000大话SSD(淘宝核心系统数据库组褚霸)背景知识2：写放大倍数写放大倍数的定义：SSD物理写字节数/应用逻辑写字节数放大倍数越大，说明：设备不够好我们没用好寿命杀手大话SSD(淘宝核心系统数据库组褚霸)IntelX25/MNand内部布局大话SSD(淘宝核心系统数据库组褚霸)数据如何写入SSD(1)大话SSD(淘宝核心系统数据库组褚霸)数据如何写入SSD(2)大话SSD(淘宝核心系统数据库组褚霸)数据如何写入SSD(3)大话SSD(淘宝核心系统数据库组褚霸)数据如何写入SSD(4)大话SSD(淘宝核心系统数据库组褚霸)垃圾收集导致IO性能下降大话SSD(淘宝核心系统数据库组褚霸)Agenda初见相识相知相爱大话SSD(淘宝核心系统数据库组褚霸)适用环境对IOPS要求高，离散读多。离散写多。需要低延迟。作为后备内存。作为L2Cache。大话SSD(淘宝核心系统数据库组褚霸)对程序员的影响SSD=/=磁盘，传统软件基于机械硬盘设计。IOPS不再是问题，如果利用好是问题。离散读写非常快（3个数量级），顺序读写没优势。读写延迟时间小。读不消耗寿命，写消耗，越小的数据写越不合算。同一个位置写，由于均衡算法的存在，不会磨损芯片的同一位置。尽量合并写。大话SSD(淘宝核心系统数据库组褚霸)对程序员的影响（续）SSDIO吞吐量1.XG/s，内存是4-6G/s,可看作是更大的内存？MMAP做后备内存，和jemalloc这样的内存分配器配合。异步IO,保证IO请求队列深度。对SSD的特性进行算法优化。fsync能力是数据类应用天花板。大话SSD(淘宝核心系统数据库组褚霸)使用SSD通常要考虑的问题大话SSD(淘宝核心系统数据库组褚霸)Agenda初见 相识相知播种大话SSD(淘宝核心系统数据库组褚霸)选择多线程和IOPS文件系统的选择IO块大小SLC还是MLC写放大倍数数据安全性驱动对应用的影响抖动/延迟L2Cache方案大话SSD(淘宝核心系统数据库组褚霸)离散读性能/线程数目大话SSD(淘宝核心系统数据库组褚霸)离散写性能/线程数目大话SSD(淘宝核心系统数据库组褚霸)文件系统的影响大话SSD(淘宝核心系统数据库组褚霸)IO块大小的影响大话SSD(淘宝核心系统数据库组褚霸)Nand:MLC还是SLC大话SSD(淘宝核心系统数据库组褚霸)写放大倍数和寿命数据库典型的应用:IntelX25-M:5-8倍FusionIOiodrive:2-3倍可以透过ssd设备提供的监控程序（如smartctl）来获取这些参数.寿命：IntelX25-M:200TFusionIoiodrive320G:4P大话SSD(淘宝核心系统数据库组褚霸)数据安全性数据校验:ECC校验Raid冗余IntelX25-M支持硬件raid卡，FusionIO只能做软raid掉电保护：大电容保护日志系统数据恢复时间：FusionIO最多10分钟左右（内部日志系统）大话SSD(淘宝核心系统数据库组褚霸)驱动对应用的影响Sata接口：标准Linux驱动，驱动开销很小PCI-E接口：每个厂家驱动不同，对CPU和内存的消耗可能会非常大。FusionIO在峰值的时候可能会占用1-2G内存，最多1x0%CPU，Virident由于板载处理器CPU消耗比较小。中断开销：中断多的时候是否可以考虑均衡大话SSD(淘宝核心系统数据库组褚霸)抖动和延迟由于数据整理的不可避免性，抖动也是不可避免的。Intel：脏块回收做的不是很好，在使用过程中，数据写入多的情况下抖动会很厉害。FusionIO：相对好些，但是也会有轻微抖动。可以通过加大reserve容量(通常默认20%)来大大缓解这个问题。延迟时间可能会达到1ms.大话SSD(淘宝核心系统数据库组褚霸)SSD作为L2Cache方案好处：低成本，高性能对应用透明可选方案：FacebookFlashCacheFusionIODirectCache文件系统存在问题：性能损失单点故障数据热点问题大话SSD(淘宝核心系统数据库组褚霸)Agenda初见 相识相知相爱大话SSD(淘宝核心系统数据库组褚霸)交流时间谢谢大家！SSD未来会很快普及，我们做好相爱的准备了吗？大话SSD(淘宝核心系统数据库组褚霸)