随着 AI 技术迅速兴起,数据中心面临着持续挑战——如何在提供海量算力的同时降低能耗? 到 2028 年,预计美国数据中心和 AI 的用电量将增加两倍,从而推动美国能源需求极速增长。2023 年,美国数据中心所消耗的电力估计为 176 太瓦时 (TWh)。根据相关预测,到 2028 年这一数字可能会升至 580 TWh,占全美总用电量的 12%1。短短五年内,能源消耗将增加 2.3 倍。
这一预期增长主要受到 AI 和其他数据密集型应用大量涌现的推动,为应对美国和全球数据中心基础设施日益增长的能源需求,先进的节能型硬件技术至关重要2。通过开发和采用创新型低功耗内存架构(如美光® LPDDR5X),数据中心可以获得显著的性能提升,同时比传统 DDR5 内存消耗更少的能源。
为什么低功耗内存如此重要?
美光® LPDDR5X 采用创新设计,旨在提供更高的速度和性能,同时降低能源消耗。与 DDR5 等传统内存技术相比,低功耗内存的工作电压更低,并通过以下几个方面提高了能源效率:
- 降低功耗
- 减少产生的热量
- 优化的节能型电路设计
对 AI 数据中心而言,节能和能效提升是一项持续挑战。以 Llama3 70B 在大型客户支持环境中运行推理任务为例。系统需要使用单个 GPU 来管理复杂的 AI 交互,同时实时处理数以千计的各种客户查询。采用低功耗内存后,这种计算密集型工作负载的能耗呈现出显著降低的情况。
推理性能
我们对 LPDDR5X 内存(通过 NVLink 与 NVIDIA GH200 Grace Hopper Superchip 连接)和传统 DDR5 内存( 在 x86 系统上通过 PCIe 与 Hopper GPU 连接)进行了对比测试,结果表明,LPDDR5X 内存可实现至关重要的性能提升。在使用 Meta Llama3 70B 测试推理性能时,低功耗内存系统相比传统内存的表现如下:
- 推理吞吐量提高 4 倍
- 延迟降低近 80%
- 能耗降低 73%
当今时代,随着 AI 应用对计算的需求日益增加,以及人们的环保意识不断增强,低功耗内存已不仅仅是一种技术升级选项,而是现代数据中心必备的战略要务。实际应用中,低功耗内存技术可同时降低用电量和运营成本,从而为数据中心带来经济效益。降低用电量可直接转化为更低的冷却成本和电费。对数据中心运营商而言,这些改进意味着更少的水电费开支,以及显著减少的碳足迹。此外,随着功耗和性能的改善,数据中心的收益不仅体现在运营效率方面。更高吞吐量和更低延迟,意味着更快的响应时间,从而让用户享受更流畅的使用体验。
当今时代,随着 AI 应用对计算的需求日益增加,以及人们的环保意识不断增强,低功耗内存已不仅仅是一种技术升级选项,而是现代数据中心必备的战略要务。实际应用中,低功耗内存技术可同时降低用电量和运营成本,从而为数据中心带来经济效益。降低用电量可直接转化为更低的冷却成本和电费。对数据中心运营商而言,这些改进意味着更少的水电费开支,以及显著减少的碳足迹。此外,随着功耗和性能的改善,数据中心的收益不仅体现在运营效率方面。更高吞吐量和更低延迟,意味着更快的响应时间,从而让用户享受更流畅的使用体验。
未来将是节能时代
随着 AI 的发展,对数据中心内部计算和内存的需求越来越高,类似 LPDDR5X 之类的先进内存技术正在助力数据中心实现可持续计算,使数据中心的运营更有效率。低功耗内存可加速推理等 AI 任务的性能,同时减少用电量,使数据中心能以更低成本完成更多工作。低功耗内存的使用实践表明,未来的 AI 应用可以是节能型应用。通过技术创新,我们可以在提升 AI 性能的同时减少碳足迹,最终让 AI 走上一条更加可持续的发展道路。
了解详情
- 下载美光的详细技术简介:低功耗内存在数据中心工作负载中的作用,了解低功耗内存如何变革下一代 AI 数据中心基础设施的性能和能源使用状况。
- 有关低功耗内存技术的更多信息,请查看美光 LPDDR5X 产品页面。
1. 美国能源部。(2024 年)。美国能源部发布的新报告评估了数据中心电力需求的增长。https://www.energy.gov/articles/doe-releases-new-report-evaluating-increase-electricity-demand-data-centers
2. 国际能源署。(2024 年)。2024 年电力:执行摘要。https://www.iea.org/reports/electricity-2024/executive-summary