设计工具
应用

AI 和机器学习需要高性能存储系列篇(三)

美光科技 | 2019 年 3 月

人工智能和机器学习需要高性能存储系列篇(三):执行

大家好,又是我!在我的人工智能系列篇的这一篇中,我想要谈谈 AI 实现过程的第三个也是最后一个主要阶段:执行(参见下图中的整个 AI 流程)。您可能还记得,在前两篇博客中,我分别介绍了 AI 流程的摄入和转换阶段以及训练阶段。正如我们所看到的,在这两个阶段中,以 SSD 和内存的形式集成闪存技术可能会对整体性能产生巨大影响。

在摄入/转换阶段,如果能越快将从大量来源获取的原始数据输入 AI 基础设施并将其转换为适合建模的可用标准化格式,就能越快进入训练阶段。虽然训练阶段非常依赖 CPU,更准确地说是依赖 GPU,但我们揭示了在解决方案中增加闪存和内存会产生很大的影响。如需了解更多详情,请阅读我的同事 Wes Vaske 的博客,他在博客中探讨了内存和存储对 AI 的影响。

AI 1

AI 过程的执行阶段是检验成果的关键时刻,也是您兑现 AI 实用价值的阶段。在执行阶段,必须部署经过训练和优化的 AI 模型(通常是部署到各种目标边缘设备(如摄像机、传感器等),并利用该模型做出决策,也就是 AI 领域所说的“推理”。在许多情况下,当进行推理时,还需要不断评估准确性。通常,这种趋势或反馈分析并非在边缘或 IoT 设备上完成,而是作为基于设备所捕获数据和推理结果的分析过程的一部分完成。

AI 2

AI 几乎可以应用于任何场景,无论是注重实时分析和决策的场景,还是同时需要实时决策和后实时分析的场景,都不在话下。根据用例的不同,内存和存储所发挥的作用大小或者对内存和存储的依赖程度会有所不同。下面我将通过两个现实世界中的用例进行说明。

实时分析

大家可能非常熟悉的一个用例是:使用手机摄像头识别本地企业,或者将手机摄像头用作尺寸测量设备(例如,回答提问“我的沙发有多长?”)。根据您使用的手机,这一推理过程可能完全在本地设备上执行。在这类例子中,手机在完成推理后不需要保留信息,这是完全实时的场景。由于负责处理摄像头数据的是智能手机,因此该用例更多地是依赖内存而非存储,实际上无需任何长期甚至中期的存储。推理完成后,就不再需要数据(确切地说是图像)。

在这些小型远程/移动设备上执行推理时,使用能够很好地平衡高性能和低功耗的内存是重点。美光提供各种外形尺寸的低功耗 DRAM 解决方案,非常适合移动、汽车和定制边缘设备采用。

实时分析和后推理分析

许多业务环境都要求持续不断地对推理过程进行重分析,确保 AI 推理引擎满足期望,这是一个用于持续过程改进的反馈循环。在这类用例中,闪存扮演着非常重要的角色。执行此分析的速度越快,就能越快改进实时推理。此外,无论是短期的设备上存储还是长期的设备外大数据存储库,所需要的存储量及其位置都取决于多个因素。最后,数据保留时间也会影响您对要部署哪种存储解决方案的决策。

为了满足监管要求,可能需要部署设备上存储,就像在许多汽车用例中一样。虽然自动驾驶汽车会进行大量的实时推理,但它们也需要将来自各种传感器的数据(摄像头数据、发动机性能数据等)存储特定的时间,以便美国国家公路交通安全管理局 (NHTSA) 可以用这些数据来分析事故。事实上,预计到 2020 年,一辆典型车辆包含的代码量将超过 3 亿行,存储容量将超过 1 TB!

AI 3

在其他情况下,设备上的存储量只需要能够将数据传输到更大的大数据存储库进行大量后处理分析即可,这对美光来说是非常熟悉的领域。正如我们之前讨论的,美光会使用晶圆分析过程(AI 推理)得出的数据来执行持续的制造过程改进。我们曾在去年的 Data Works 峰会上谈论过这一点,当时我们向大家展示了,不仅存储容量对后推理分析很重要,存储的类型也会极大地影响分析性能。在这种情况下,即使只是在 HDD 的现有遗留大数据环境中增加单个高性能 NVMe SSD,也能带来巨大的提升。

美光基础架构加速行业智能化

美光提供适合各种应用工作负载的 SSD,以及专门针对网络边缘和 IoT 领域开发的工业级 microSD 卡。

我们会持续评估存储和内存对 AI/ML 工作负载的影响,请继续关注美光博客,了解更多评估结果。

访问 micron.com/AI,详细了解这些及其他美光产品,以及它们可以如何帮助您在下一个 AI/ML 项目中取得成功。

Linkedin 上关注我们,获取最新资讯。