设计工具
数据中心

每一瓦特都很重要:低功耗内存如何改变数据中心

Sudharshan Vazhkudai | 2025 年 3 月

随着 AI 技术迅速兴起,数据中心面临着持续挑战——如何在提供海量算力的同时降低能耗? 到 2028 年,预计美国数据中心和 AI 的用电量将增加两倍,从而推动美国能源需求极速增长。2023 年,美国数据中心所消耗的电力估计为 176 太瓦时 (TWh)。根据相关预测,到 2028 年这一数字可能会升至 580 TWh,占全美总用电量的 12%1。短短五年内,能源消耗将增加 2.3 倍。

这一预期增长主要受到 AI 和其他数据密集型应用大量涌现的推动,为应对美国和全球数据中心基础设施日益增长的能源需求,先进的节能型硬件技术至关重要2。通过开发和采用创新型低功耗内存架构(如美光® LPDDR5X),数据中心可以获得显著的性能提升,同时比传统 DDR5 内存消耗更少的能源。

为什么低功耗内存如此重要?

美光® LPDDR5X 采用创新设计,旨在提供更高的速度和性能,同时降低能源消耗。与 DDR5 等传统内存技术相比,低功耗内存的工作电压更低,并通过以下几个方面提高了能源效率:

  • 降低功耗
  • 减少产生的热量
  • 优化的节能型电路设计

对 AI 数据中心而言,节能和能效提升是一项持续挑战。以 Llama3 70B 在大型客户支持环境中运行推理任务为例。系统需要使用单个 GPU 来管理复杂的 AI 交互,同时实时处理数以千计的各种客户查询。采用低功耗内存后,这种计算密集型工作负载的能耗呈现出显著降低的情况。

图 1:标准化后的延迟性能

图1:Llama3 70B 标准化推理吞吐量

推理性能

我们对 LPDDR5X 内存(通过 NVLink 与 NVIDIA GH200 Grace Hopper Superchip 连接)和传统 DDR5 内存( 在 x86 系统上通过 PCIe 与 Hopper GPU 连接)进行了对比测试,结果表明,LPDDR5X 内存可实现至关重要的性能提升。在使用 Meta Llama3 70B 测试推理性能时,低功耗内存系统相比传统内存的表现如下:

  • 推理吞吐量提高 4 倍
  • 延迟降低近 80%
  • 能耗降低 73%
图 2:标准化后的延迟性能

图 2:Llama3 70B 标准化延迟性能

当今时代,随着 AI 应用对计算的需求日益增加,以及人们的环保意识不断增强,低功耗内存已不仅仅是一种技术升级选项,而是现代数据中心必备的战略要务。实际应用中,低功耗内存技术可同时降低用电量和运营成本,从而为数据中心带来经济效益。降低用电量可直接转化为更低的冷却成本和电费。对数据中心运营商而言,这些改进意味着更少的水电费开支,以及显著减少的碳足迹。此外,随着功耗和性能的改善,数据中心的收益不仅体现在运营效率方面。更高吞吐量和更低延迟,意味着更快的响应时间,从而让用户享受更流畅的使用体验。

当今时代,随着 AI 应用对计算的需求日益增加,以及人们的环保意识不断增强,低功耗内存已不仅仅是一种技术升级选项,而是现代数据中心必备的战略要务。实际应用中,低功耗内存技术可同时降低用电量和运营成本,从而为数据中心带来经济效益。降低用电量可直接转化为更低的冷却成本和电费。对数据中心运营商而言,这些改进意味着更少的水电费开支,以及显著减少的碳足迹。此外,随着功耗和性能的改善,数据中心的收益不仅体现在运营效率方面。更高吞吐量和更低延迟,意味着更快的响应时间,从而让用户享受更流畅的使用体验。

该信息图显示了与采用 DDR5 的 HBM3 相比,采用 LPDDR5X 的 HBM3 所拥有的节能潜力。 图 3:LLM 推理的能效


未来将是节能时代

随着 AI 的发展,对数据中心内部计算和内存的需求越来越高,类似 LPDDR5X 之类的先进内存技术正在助力数据中心实现可持续计算,使数据中心的运营更有效率。低功耗内存可加速推理等 AI 任务的性能,同时减少用电量,使数据中心能以更低成本完成更多工作。低功耗内存的使用实践表明,未来的 AI 应用可以是节能型应用。通过技术创新,我们可以在提升 AI 性能的同时减少碳足迹,最终让 AI 走上一条更加可持续的发展道路。


了解详情


1. 美国能源部。(2024 年)。美国能源部发布的新报告评估了数据中心电力需求的增长。https://www.energy.gov/articles/doe-releases-new-report-evaluating-increase-electricity-demand-data-centers

2. 国际能源署。(2024 年)。2024 年电力:执行摘要。https://www.iea.org/reports/electricity-2024/executive-summary

系统设计工程研究员

Sudharshan Vazhkudai

Sudharshan S. Vazhkudai 博士是美光科技的系统设计工程研究员。他在美光组建了数据中心与客户端工作负载工程团队,从端到端系统视角出发,深入探究如何利用深度内存层次结构来构建针对工作负载优化的现代系统架构。在此之前,他在橡树岭国家实验室工作了二十余年,负责构建数据中心解决方案。Vazhkudai 博士拥有密西西比大学计算机科学博士学位,还曾在田纳西大学担任客座教师。