Lotus 分布式数据库设计与实现yp.fangdonggmail2019/06/18内容概要场景和需求设计性能测试经验总结场景和需求微博 等文本类应用数据特点数据模型简单记录体积小海量高并发弱一致性初步方案存储集群：存储系统 + 缓存系统索引全置内存：key + value的offsetHash方式partition，固定Bucket索引问题key:value 1:50内存:磁盘 8G:5TB 1:640磁盘空间利用率低启动速度慢内存扩容 成本高集群震荡传统hash方式partitionhash(key) / n单点故障，模数n改变，cache 0%命中深入设计签名技术一致性Hash索引签名类签名技术 SHA1/MD5/. 算法索引 = 对key签名 + Record的offset内存索引大量减少，启动极快降低签名冲突率一致性Hash单点故障 大部分cache仍可用 (n 1)/n其他优化布隆过滤器内存管理数据压缩c10kLIRS缓存淘汰算法等等性能测试配置 CPU: 4 * i5-2320 3.00GHz CPU Cache: 6144 KB存储引擎 随机读写 100w key:50Bytes value:1024Bytes 10w op/s 25w op/s谢谢Q/A