迪士尼TM 经典动画片《海底总动员》中有一句名言:“鱼是朋友,不是食物。” SSD 提供商通常把 HDD 视为取而代之的目标,而不是可以协同工作的产品。笔记本电脑也是如此。对于数据中心存储,SSD 和 HDD 有很多机会可以协同工作。
数据中心在满足大数据分析、人工智能和云计算等数据密集型应用的需求方面面临着越来越大的挑战。这些应用要求存储基础设施具有高性能、可扩展性、可靠性和成本效益。然而传统机械硬盘 (HDD) 难以满足这些工作负载对速度和容量的要求,而固态硬盘 (SSD) 仍然太昂贵,无法完全取代 HDD。数据中心如何克服这一困境,实现两全其美?
一种解决方案是利用 SSD 和 HDD 技术的优势互补。数据缓存和性能分层是企业存储系统中熟悉的概念。长期以来,快速非易失性写入缓冲区一直用于在分别写入较慢的存储设备之前聚合写入。以更高的成本提供更高性能水平的数据分层在大多数大型存储部署中很常见。从历史上看,层级由具有不同转速和磁盘直径的 HDD 定义。现在,高性能层使用 SSD。例如,IDC1 报告称,对于 2023 年的 OEM 企业存储系统,混合存储阵列 (HDD + SSD) 的出货位数几乎是仅 HDD 或全闪存阵列 (AFA) 的 3 倍(而 AFA 的同比增长率是迄今为止最高的)。
扩展性能
对于存储系统,最重要的性能指标是数据吞吐量除以容量(通常表示为 MB/s / TB)。随着存储设备的容量越来越大,其带宽也需要以 MB/s 为单位扩展。否则,整体系统性能将下降。存储系统所需的性能因工作负载和系统硬件架构而异。对于一些典型的大型数据中心工作负载,所需的性能 (MB/s / TB) 可能从大型 BLOB 对象存储的 ~2.5、大数据分析的 ~5.0 到执行 AI 模型训练的 GPU 集群的 ~20 不等。
对于 HDD,设备的物理和机械特性决定了带宽。可以通过限制对异常大 (≥ 8MB) 的顺序数据块的数据访问来增加 HDD 的总体吞吐量,即最大限度延长数据传输时间与记录磁头寻找数据位置的时间。提升仅限于 HDD 的最大顺序带宽。通常需要对输入写入缓冲,以将不同大小的主机工作负载聚合成对延迟敏感或带宽受限的主机读取操作的大型块和数据缓存。HDD 的替代方法是超额配置容量,形成“暗容量”。这种保持性能水平的方法在 HDD 和服务器/基础设施成本以及数据中心电力需求方面变得十分昂贵。
SSD 和 HDD 协同
虽然 SSD 虽然价格较高,但可提供更高的性能,并且是这些缓存在主机应用要求和 HDD 存储子系统之间桥接较为合适的存储设备。但是为了实现 HDD 吞吐量的这些提升,数据中心需要采用智能数据管理软件和算法,以便根据数据特性、访问模式和业务优先级自动动态地将数据分配至数据层和缓存。并非所有数据中心都具备优化和调整管理软件所需的先进技术水平。与混合存储阵列和仅 HDD 存储阵列相比,全闪存阵列增长率高的主要原因是只需部署一个存储层即可满足所有性能需求。
如今,这些旨在更大限度提高 HDD 吞吐量的缓存和分层策略已在 HDD 容量高达 20TB 的所有工作负载中发挥了作用,但最苛刻的工作负载除外。随着 HDD 容量在未来增加到 30 或 40 TB,满足工作负载性能需求将变得更加困难。例如,假设一个大数据分析应用需要在 40TB HDD 上以 5 MB/s / TB 的速度运行。HDD 应提供 200 MB/s 的带宽。即使在先进的数据中心,要确保 3.5" 7200 RPM HDD 从磁盘的最外层到最内层始终保持这一速度,也是项巨大的挑战。这些系统中 SSD 缓存的相对大小和数据管理复杂程度将不得不增加,因此 HDD 存储系统对 SSD 性能优势的依赖将更大。
平衡成本和性能
将 SSD 和 HDD 视为可以协作的产品,数据中心就能在存储成本与满足数据密集型应用的多样化动态需求之间实现理想平衡。随着 HDD 的容量越来越大,这种关系将随着时间的推移而发展。
SSD:
- 为热数据和对延迟敏感的应用提供快速访问,
- 可用作缓存或层,以增加 HDD 数据传输的带宽,
HDD: - 提供更具成本效益的存储 ($/TB),
- 具有出众的冷数据存储应用保留属性,如存档或备份数据。
长期前景
对于大多数数据中心应用而言,HDD 的容量增长有限,但仍能提供最具成本效益的存储。最终,除了冷存储应用外,纯 SSD 存储可能会比 HDD 解决方案成本更低。我将在以后的博客中讨论这个问题。
1. IDC 2023 年第四季度企业存储跟踪季度报告