设计工具
高带宽内存

HBM3E

拥有出色速度和容量的高带宽内存 (HBM),可助力生成式 AI 创新

pause

美光 HBM3E | 面向 AI 的高带宽内存

深入了解美光 HBM3E 在快速发展的 AI 领域的应用。美光的 HBM3E 高带宽内存拥有业界前沿的能效,功耗比竞品低 30%。HBM3E 提供超过 1.2 TB/s 的带宽以及出色的功率效率,可加速生成式 AI 创新。了解美光的前沿产品如何推动数据中心、工程、医学等领域的进步,帮助塑造 AI 的未来。阅读本文,全面了解美光 HBM3E。

从链接里的 YouTube 视频中截取的 HBM3e SSD 屏幕截图

美光 12 层堆叠 36GB HBM3E 立方体现已开始送样

如今的生成式 AI 为提供更优结果和把握新的需求机会而不断扩展,对数据量的需求越来越大。美光行业前沿的 1β 内存技术加上在封装领域的技术进步,可确保数据高效地传入和传出 GPU。美光的 8 层堆叠和 12 层堆叠 HBM3E 内存可比竞品节约 30% 的功耗,将进一步推动 AI 创新。 

多个美光 HBM3E 芯片堆叠在一起

美光业界前沿的 HBM3E 解决方案正式量产,加速 AI 普及

相较于其他竞品,美光 HBM3E 的功耗降低约 30%,有助于减少数据中心的运营成本。其 8 层堆叠 24GB 解决方案将应用于 NVIDIA H200 Tensor Core GPU,于 2024 年第二季度开始出货。

两个美光 HBM3E 芯片

加速 AI 创新

生成式 AI

生成式 AI 通过使用大语言模型 (LLM) 训练和推理,为人们的创造和表达方式打开了新世界的大门,就像上面这张图片一样。计算和内存资源的利用会显著影响部署时间和响应时间。美光 HBM3E 的内存容量更大,可提高性能并减少 AI CPU 卸载,从而在推理 LLM(例如 ChatGPT™)时实现更快的训练速度和更灵敏的查询。

3D 插图:晶体组成的宇航员

深度学习

AI 为商业、IT、工程、科学和医学等领域带来了新的可能性。随着人们部署更大的 AI 模型来加速深度学习,维持计算和内存效率变得至关重要,因为只有这样才能解决性能、成本和功耗问题,确保所有人都能受益。美光 HBM3E 具有更高的内存性能,同时着重提高每瓦性能的能源效率,可有效缩短 GPT-4 等 LLM 的训练时间。

浅蓝色、粉色和黄色的数据流组合在一起,在右边形成完整的数据集变化

高性能计算

如今,气候建模、癌症治疗以及可再生和可持续能源领域都需要科学家、研究人员和工程师去发现解决方案。高性能计算 (HPC) 可执行非常复杂的算法和使用大型数据集的先进模拟,有助于加速发现解决方案。美光 HBM3E 提供了更高的内存容量,并且因减少了跨多个节点分发数据的需要,而拥有了更高的性能,可加快创新的步伐。

一位艺术家在昏暗的房间里,用触控笔在平板电脑上创作出色彩斑斓的抽象设计

HBM3E 的制程技术处于业内前沿,专为 AI 和超级计算应用打造

HBM3E 的推出,为美光面向数据中心应用的产品组合增添了行业前沿性能。与上一代产品相比,HBM3E 可在相同封装尺寸上提供更快的数据速率和更高效的热响应,单芯片存储密度也提高了 50%。

单个美光 HBM3E 芯片

HBM3E 的制程技术处于业内前沿,专为 AI 和超级计算应用打造

HBM3E 提供高内存带宽,增强 AI 计算核心

凭借先进的 CMOS 创新和行业前沿的 1β 制程技术,美光 HBM3E 实现了超过 1.2 TB/s 的更高内存带宽1

佩戴 AI 眼镜的女性的模糊图像

HBM3E 开启生成式 AI 新世界

每个 8 层堆叠 24GB HBM3E 立方体的内存容量均高出 50%2,可提升训练的精度和准确度。

霓虹背景上溅起的水花

HBM3E 为 AI 和 HPC 工作负载提供更高的每瓦性能

美光设计了一种热阻抗更低的高能源效率数据路径,每瓦性能达到了上一代产品的 2.5 倍以上3。

生成式 AI 插图:霓虹紫色背景上的现代高科技服务器机房

HBM3E 开创了多模态、数万亿参数 AI 模型的训练

得益于高内存带宽带来的系统级性能提升,HBM3E 将训练时间缩短了 30% 以上4,每天可执行的查询量也增加了 50% 以上5、6

基于 AI(人工智能)技术的聊天机器人。一名女性在用笔记本电脑与人工智能聊天,寻求人工智能的解答

美光 HBM3E:为进一步解锁计算潜力奠定基础

美光 HBM3E 是推动 AI 创新的高带宽内存,其速度和容量均十分优秀,一个 8 层堆叠的 24GB 立方体即可提供超 1.2 TB/s 的带宽和出色的功率效率。美光是值得您信赖的 AI 内存和存储创新合作伙伴。 

Cropped shot of African American data engineer holding laptop while working with supercomputer in server room lit by blue light, copy space

常见问答

美光 8 层堆叠 24GB 和 12 层堆叠 36GB 的 HBM3E 解决方案具有超过 1.2 TB/s 的带宽,可提供行业前沿的性能,功耗也比市场上的其他同类解决方案低 30%。 

美光 8 层堆叠的 24GB HBM3E 解决方案将应用于 NVIDIA H200 Tensor Core GPU,于 2024 年第二季度开始出货。美光 12 层堆叠 36GB HBM3E 现已开始送样。

美光 8 层堆叠和 12 层堆叠的 HBM3E 模块提供行业前沿的引脚速度,达到了 9.2Gbps 以上,并且支持向下兼容 HBM2 初代设备的数据速率。

美光 8 层堆叠和 12 层堆叠的 HBM3E 解决方案提供行业前沿的带宽,达到了每个堆叠 1.2 TB/s 以上。HBM3E 有 1024 个 IO 引脚,引脚速度超过 9.2Gbps,提供高于 1.2TB/s 的传输速率。

美光行业前沿的 8 层堆叠 HBM3E 提供每个堆叠 24GB 的容量。最近宣布的美光 12 层堆叠 HBM3E 立方体将提供令人惊叹的每个堆叠 36GB 容量。 

美光 8 层堆叠和 12 层堆叠的 HBM3E 解决方案提供行业前沿的带宽,达到每个堆叠 1.2 TB/s 以上。HBM3E 有 1024 个 IO 引脚,引脚速度超过 9.2Gbps,提供高于 1.2TB/s 的传输速率。

HBM2 提供 8 个独立通道,每个引脚的速度可达到 3.6Gbps,提供高达 410GB/s 的带宽,并有 4GB、8GB 和 16GB 的容量可选。HBM3E 提供 16 个独立通道和 32 个伪通道。美光 HBM3E 提供超过 9.2Gbps 的引脚速度,以及行业前沿的带宽,达到了每个堆叠 1.2 TB/s 以上。美光 24GB 容量的 HBM3E 使用了 8 层堆叠,36GB 容量使用了 12 层堆叠。美光 HBM3E 的功耗比竞品低 30%。 

请参阅我们的产品简介

特色资源

1.   数据速率测试估计值基于在制造测试环境中执行的 shmoo 图引脚速度。
2. 比同堆叠层数竞品的容量高出 50%。
3.   功率和性能估计值基于工作负载用例的模拟结果。
4.   基于引用 ACM 出版物的美光内部模型,与当前出货的平台 (H100) 相比。
5.   基于引用 Bernstein 研究报告的美光内部模型,NVIDIA (NVDA):一种自下而上评估 ChatGPT 机会的方法,2023 年 2 月 27 日,与当前出货的平台 (H100) 相比。
6.   基于使用商用 H100 平台和线性外推得出的系统衡量结果。

客户支持

需要联系我们? 请联系我们的支持服务团队,获取我们各运营地点的联系人信息。

搜索、筛选和下载数据表

获取有关产品特性、规格、功能等的详细信息。

订购美光产品样品

用于订购美光内存样品及跟踪订单的在线资源。

下载及技术文档

这些资源可以帮助您设计、测试、构建和优化创新解决方案。