Ceph BlueStore：缓存还是不缓存，这是个问题

缓存还是不缓存，这是个问题。

你会怎么选择？ 要不要为你的 Ceph^® 集群进行缓存？ 答案是：视情况而定。

如果使用的是高端企业级 NVMe™ 硬盘（如美光^® 9200 MAX），可以轻松通过 Ceph 集群获得良好性能。但如果要提高主要由 SATA 硬盘组成的系统的性能，该怎么办？ 在这种情况下，建议在 Ceph OSD 服务器上增加几个更快的硬盘，来存储 BlueStore 数据库和预写日志。

美光开发并测试了广受欢迎的 Accelerated Ceph Storage 解决方案，该解决方案利用了在红帽 Linux 上运行的带红帽 Ceph Storage 的服务器。我将介绍几个工作负载场景，并根据我们的解决方案测试实验室的实际结果，展示缓存可以带来哪些帮助。

系统配置

测试使用一个 OSD 四节点 Ceph 集群，配置如下：

表 1：Ceph OSD 服务器配置

4KiB 随机块测试

使用 FIO（灵活 I/O）进行 4KiB 随机写入时，可以看到使用缓存硬盘后，性能大幅提升，并且尾延迟较低，即使在高负载情况下也是如此。对于 40 个 FIO 实例，性能提高了 71%（190K 对比 111K），尾延迟降低了 72%（119ms 对比 665ms）。

图 1：4KiB 随机写入性能和尾延迟

在 4KiB 随机读取测试期间，性能会有所提高，但这没大有说服力。这在意料之中，因为在读取测试期间，不会使用预写日志，BlueStore 数据库也不会有太大变化。

图 2：4KiB 随机读取性能和尾延迟

混合工作负载（70% 读取/30% 写入）也证明了在系统中增加缓存设备的优势。性能提升幅度从 64 队列深度时的 30% 提高到 6 队列深度时的 162%。

图 3：4KiB 随机 70% 读取/30% 写入性能和尾延迟

4MiB 对象测试

使用 4MiB 对象运行 rados bench 命令时，缓存设备会带来一定的性能提升，但没有小区块工作负载那么显著。由于预写日志很小，而对象很大，因此增加缓存设备对性能的影响较小。运行 10 个 rados bench 实例时，有缓存与无缓存相比，吞吐量提高了 9%（4.94 GiB/s 对比 4.53 GiB/s），而平均延迟降低了 7%（126 ms 对比 138 ms）。

图 4：4MiB 对象写入性能

在读取方面，我们再次看到性能的全面提升几乎可以忽略不计。

图 5：4MiB 对象读取性能

结论

如你所见，如果你的工作负载基本都是读取，则在 Ceph 集群中为 BlueStore 数据库和预写日志存储增加缓存设备并不会获得较大的性能提升。但对于写入，情况就完全不同了。虽然对于较大的对象，效果也不是特别明显，但缓存设备真正适合的是小区块写入和混合工作负载。只需少量投资，在系统中添加几个美光 9200 NVMe 硬盘，你就可以充分发挥 Ceph 集群的价值。

对于你的开源存储，结果又如何呢？ 有关详情，请访问美光 Accelerated Ceph Storage。

欢迎在 Twitter 上关注我们（@MicronStorage），或者在 LinkedIn 上了解我们的最新动态。