从对象存储中丢弃 HDD：采用美光 6500 ION 的 Ceph

Ceph 通常作为对象存储部署，使用 HDD 存储，并使用少量 NVMe 加速 Bluestore（元数据 + 写入前的日志）。美光最近完成了全 NVMe Ceph 配置的测试，其中使用美光 6500 ION 作为数据和 Bluestore 的存储。虽然美光 6500 ION 相较于 Solidigm P5316 的性能表现非常出色，但我们还希望了解使用 HDD + NVMe 的更常见 Ceph 部署与使用美光 6500 ION 的部署方案之间的性能差异。

一家大型 HDD 供应商发布了技术简报，详细介绍了 Ceph 在一个使用 12 个 12 TB 3.5 英寸 SATA HDD 和一个用于 Bluestore 的 NVMe 扩展卡固态硬盘的 4 节点集群中的性能。这两种解决方案都使用 RADOS Bench（Ceph 用于测量客户端或 S3 网关对象吞吐量的工具）进行测试。这份报告中详细介绍了一些架构差异，但即使考虑到这些差异，采用美光 6500 ION 的 Ceph 和采用 HDD + NVMe 的 Ceph 之间的差异依然非常显著。

性能

• 美光 6500 ION Ceph 配置展示出 11 倍的读取性能和 27 倍的写入性能。

• HDD + NVMe Ceph 的读取延迟高出 8 倍，写入延迟高出 37 倍。

• 采用美光 6500 ION 的 Ceph 集群每可用 TB 的性能更高，每 TB 的读取性能达 4 倍，每 TB 的写入性能达 10 倍。

功率效率

• 采用美光 6500 ION 的 Ceph 的存储功率效率（瓦特/TB 或瓦/TB）达 2 倍，而读取的功率/吞吐量达 16 倍，写入的功率/吞吐量达 46 倍。

成本

• 两种解决方案的每单位可用容量成本大致相当，因为 NVMe 存储的性能要高得多。在这种规模下，全 NVMe 集群可以使用 4+2 的纠删码，但不建议对 HDD 采用相同配置，HDD 需要使用 3 倍复制。

• 要达到 6 节点美光 6500 ION Ceph 配置的可用容量，需要 16 个 HDD + NVMe Ceph 节点（可添加简化公式验证这一结论）。
• 若要达到 6 节点美光 6500 ION Ceph 配置的读取性能，还需要 68 个 HDD 节点；而若要达到美光 6500 ION Ceph 配置的相同写入性能，则需要 161 个 HDD 节点（可添加简化公式验证这一结论）。

测试环境

*对于 NVMe 测试，使用 4+2 纠删码与 3 倍复制相比，读取性能降低 15%，写入性能提高了 27%。有关详细信息，请参阅以下美光技术简报：利用低延迟 NVMeTM 固态硬盘释放高性能、可容错 Ceph® 对象存储系统的潜力

详细结果

由于 HDD + NVMe 测试使用的节点更少，而且使用 3 倍复制而不是 4+2 纠删码，因此我们希望通过考虑这些差异来进行比较。

节点差异（节点性能乘数）：

• 我们将 HDD + NVMe 带宽结果乘以 1.5，来模拟 6 节点配置（假设性能呈线性扩展）

• 我们保持与 HDD 技术简报中相同的平均延迟。

数据保护差异（数据保护性能乘数）：

• 读取性能：4+2 纠删码对集群的读性能有 15% 的性能损失。我们没有改变美光 6500 ION 测试的结果（增加），也没有减少 HDD + NVMe 配置的性能数据。这种方法将有利于 HDD 配置。

• 写入性能：在全 NVMe 测试中，4+2 纠删码的性能比 3 倍复制提高了 27%。虽然我们不认为在 HDD 上可以实现相同水平的性能，但我们将 HDD 的结果乘以 1.27 以考虑到这种潜在的提升。这种方法也有利于 HDD 配置。

数据保护性能增量由美光测量，更多详细信息可在此处找到。

读写性能

美光 6500 ION Ceph 配置的读取性能是 11.5 倍，写入性能是 27 倍。

延迟

HDD + NVMe Ceph 配置的读取延迟和写入延迟分别是 6500 ION Ceph 配置的 8 倍和 37 倍。

每 TB 的吞吐量

存储性能和效率的一个衡量标准是每 TB 可用的性能量。在这里，我们测量原始容量和可用容量的吞吐量，单位为 MB/秒。

在考虑可用磁盘容量时，美光 6500 ION 固态硬盘 Ceph 配置每 TB 的读取带宽高出 4 倍，每 TB 的写入带宽高出 13 倍。请注意，HDD + NVMe 配置中的 3 倍复制将原始容量减少至三分之一（576 TB/3 = 192 TB），而美光 6500 ION Ceph 配置中的 4+2 纠删码将原始容量减少至六分之四（1,152 TB * 0.66 = 760 TB）。

功耗

HDD 技术简报显示，12 TB的 HDD 每块驱动器的功耗为 7.25 瓦，因此 4 节点解决方案的存储组件总功耗为 348 瓦。我们测量了美光 6500 ION 在测试期间的平均磁盘吞吐量，读取速度为 1.5 GB/秒，写入速度为 1.2 GB/秒，并在这些性能水平下计算了每个驱动器的功耗。读取结果为 10.1 W，写入结果为 10.6 W。由于 HDD 只有一个功耗数字，因此我们选择了更高的 10.6 W 结果进行比较。

30 TB 美光 6500 ION 每个驱动器的功率是 12 TB HDD 的 1.5 倍。由于容量差异的原因，美光 6500 ION Ceph 解决方案每节点使用的功耗仅为 HDD + NVMe 的 70%。

容量能效（瓦/TB）

功耗是衡量存储解决方案效率的一个良好指标。HDD 简报报告了 Ceph 解决方案中 HDD JBOD 部分的平均瞬时功耗，不考虑 Ceph 存储节点的 CPU、内存和网络功耗。

对于美光 6500 ION 配置，我们根据吞吐量，计算了每个驱动器的功耗：读取功耗为 10.1 瓦（1.2 GB/秒吞吐量下），写入功耗（1.5 GB/秒吞吐量下）为 10.6 瓦。

仅比较存储组件，美光 6500 ION Ceph 配置的每 TB 的能效只有一半多点，展示出了 NVMe 固态硬盘配置的能效优于 HDD 配置。

性能能效（瓦/GBps）

另一个要检查的功率指标是功率除以吞吐量，得出解决方案每 GBps 传输的能效。在这里，我们继续使用美光 6500 ION 每个驱动器 10.1 瓦的读取功率和每个驱动器 10.6 瓦的写入功率，以及 12 TB HDD 标示的 7.25 瓦功耗。

在考虑功耗和性能时，HDD + NVMe 配置在读取时使用 16 倍的功耗，在写入时使用 46 倍的功耗。

解决方案成本分析

使用全 NVMe Ceph 配置可在生产中使用纠删码。使用 HDD 时，仍强烈建议使用 3 倍复制。考虑到每个可用容量的成本，美光 6500 ION 配置的成本与 HDD + NVMe 配置相同。

要达到测试的 6 节点美光 6500 ION Ceph 配置的可用容量，需要 16 个 HDD + NVMe 节点；要达到同等读取性能，需要 68 个 HDD + NVMe 节点；要达到同等写入性能，需要 161 个 HDD + NVMe 节点。

结论

美光 6500 ION 非常适合 NVMe 支持的 Ceph 对象存储。在 HDD 上使用纠删码而不是使用 3 倍复制时，实现了与 HDD 的成本持平。

在 Ceph 唵，美光 6500 ION 具有以下若干好处：

• 性能优于 HDD
  • 写入速度提高 27 倍，读取性能提高 11 倍
  • 写入速度降低 37 倍，读取延迟降低 8 倍
  • 每可用容量的写入速度提高 10 倍，读取吞吐量提高 4 倍
• 比 HDD 更高效
  • 每 TB 驱动功率减半
  • 存储系统功耗的 70%，未考虑美光 6500 ION 的更高性能
  • 每 GBps 写入速度降低 46 倍，读取功率降低 16 倍
• 比 HDD 更具成本效益
  • 要达到 6 节点美光 6500 ION Ceph 配置测试的写入和读取性能，分别需要 161 个和 68 个 HDD + NVMe 节点

最后一点是：随着性能的大幅提高，美光 6500 ION Ceph 配置可以快速处理请求，从而更快地返回空闲状态。凭借更小的系统占用空间、“尽快进入空闲状态”的理念，以及像美光 6500 ION 这样具有成本效益的大容量 NVMe SDD，从对象存储中淘汰 HDD 最终变得有意义。

© 2023 Micron Technology, Inc. 保留所有权利。所有信息均“按原样”提供，不含任何类型的质保。产品仅保证符合美光的生产数据表规格。产品、计划和规格如有变更，恕不另行通知。若印刷或照片出现遗漏或错误，Micron Technology, Inc.（美光科技股份有限公司）恕不负责。Micron、Micron 徽标和所有其他 Micron 商标均为 Micron Technology Inc.（美光科技股份有限公司）的财产。所有其他商标分别为其各自所有者所有。修订版 A 01/2023 CCM004-676576390-11635