NVIDIA MGX 系统搭配美光存储系统，实现显著功效提升

AI 数据中心的高功耗是当下的热门话题。正如 OpenAI 在其 2024 年财务报告中所称，其运营支出中占比最高的是电力支出。

当我们考察人工智能 (AI) 系统架构时，高功耗问题尤为显著。标准 AI 训练系统通常会使用多个 8 GPU 服务器，单系统功耗高达 10 千瓦时 (kWh)。其他服务器供应商还提供采用 4 GPU 配置的 NVIDIA HGX 平台。开展大规模 AI 训练时，企业需要部署超大规模 GPU 集群才能满足此类功耗需求。如果是更小的 AI 工作负载，情况又如何呢？

AI 无处不在

企业 AI 是一个快速兴起的领域。在这些应用中，企业会将专有业务数据部署到 AI 模型中，因此通常需要在本地进行 AI 推理。当前的主流 AI 解决方案会提供基础大型语言模型 (LLM)，企业再使用内部数据对其进行微调，让这些 LLM 能够理解企业独有的业务知识。如果 LLM 有权限访问企业的关键业务数据，则必须在本地运行。

NVIDIA MGX

NVIDIA 推出了 NVIDIA GH200 Grace Hopper 超级芯片。这是一款精细设计的系统，集成了 Arm CPU、LPDDR5X 内存和 NVIDIA H100 GPU。该系统旨在提供 NVIDIA GPU 的超强算力，同时优化系统中其他器件的效率。

我们最近使用一台 Supermicro ARS-111GL-SHR 服务器进行了测试，这是一款 1U NVIDIA GH200 系统，配备 72 核心 NVIDIA Grace CPU、480GB LPDDR5X，以及一块内置 96GB HBM3E 的 H100 GPU。该系统还配备了一块 NVIDIA BlueField-3 DPU，可连接 4 块美光 9550 NVMe E1.S SSD。

通过 BlueField-3 来连接 NVMe SSD，最多可在 1U NVIDIA MGX 系统中部署 8 块 NVMe SSD，从而实现每 GPU 的高存储密度配置。

此类计算和存储密集型平台对部署和系统配置提出了更高的要求。采用 NVIDIA GH200 系统时，1U 空间中可以安装两个超级芯片模组，未来基于 NVIDIA Blackwell 的系统可在 1U 机箱内安装 4 块 GPU。

构建此类系统时，需要考虑以下要点：

• 此类密集型系统必须采用液冷技术。
• 必须采用 EDSFF 存储。对于 1U 系统，优选 E1.S 规格 SSD，E3.S 更适合 2U 系统。
• 存储密度和性能非常重要。由于物理空间有限，存储系统仅允许包含少量高性能 SSD（如美光 9550）。

综合上述几点，应优先选择支持 PCIe 6.0 的存储系统。

搭载 NVIDIA GH200 的 NVIDIA MGX 平台的功效表现如何？

为了探究 NVIDIA GH200 系统与标准系统之间的功效差异，我们分别使用 NVIDIA GPUDirect Storage 技术和传统 IO 路径在两台服务器上进行了对比测试。

NVIDIA GPUDirect Storage 可在 GPU 和 NVMe SSD 之间建立直接数据传输路径，而控制路径数据仍然会经过 CPU 和 DRAM。如果不使用 GPUDirect Storage 技术，所有数据都会经过 CPU 和 DRAM 回弹缓冲区，从而造成相当严重的数据传输瓶颈。

两台测试服务器的配置如下：

• Intel + NVIDIA H100 GPU 系统：Supermicro SYS-521GU-TNXR：2 路 Intel 8568Y+，48 核，512GB DDR5，16 块 NVIDIA H100NVL-96GB HBM3 GPU PCIe 5.0，美光 9550 PRO SSD。
• NVIDIA GH200 Grace Hopper 系统：Supermicro ARS-111GL-SHR：NVIDIA GH200 Grace Hopper 超级芯片，480GB LPDDR5X，H100（96GB HBM3），NVIDIA BlueField-3（4 个 PCIe 5.0 4 MCIO 连接到前置的 E1.S 规格美光 9550 PRO SSD）。

Intel + NVIDIA H100 组合代表了当下许多企业部署 AI 的方式，即在标准服务器中安装 NVIDIA H100。NVIDIA GH200 系统则提供了一种以更高效的方式使用 H100 计算能力的选择。

测试所用的工作负载为：使用 GDSIO 进行 4KB 随机读取，包括 256 个工作线程，以及大小为 40GB 的文件。使用传统 IO 路径时，NVIDIA GH200 的效率（每瓦 MB/s）高达 Intel 系统的 4 倍。开启 NVIDIA GPUDirect Storage (GDS) 后，Intel 系统的效率提高到之前的 10 倍，NVIDIA GH200 的效率提高到之前的 4 倍。总体而言，使用 GDS 时，NVIDIA GH200 系统的能效比 Intel 系统高出 60%。

平均系统功耗方面，Intel 系统的平均功耗为 900 W，NVIDIA GH200 系统的平均功耗为 350 W。

提升企业 AI 工作负载效率的途径

搭载 NVIDIA 超级芯片的 MGX 系列代表了一种高效利用 NVIDIA GPU 超强计算能力的方法。从美光产品的角度来看，无论是美光 LPDDR5X、H100 GPU 中的美光 HBM3E，还是 E1.S 和 E3.S 规格的美光 9550 NVMe SSD，均为此类平台的优先选择。

当前，Supermicro、HPE 和其他供应商均提供 NVIDIA GH200 系统。

• Supermicro MGX Grace Hopper 系统：ARS-111GL-SHR（本次测试中使用）
• HPE Proliant DL384