在感恩节,我们可以深思生活中诸多值得感恩的时刻——无论是亲情的温暖、友情的陪伴、事业的成就,还是个人的成长。
在今年的感恩节,我回顾了自己在存储领域的职业生涯,以及这一路上见证的所有重大技术进步。这是一段简单却充满力量的故事:它始于对现状的挑战,经历迅速变革,最终,那些更能适应需求、效能卓越的产品与技术脱颖而出;正如自然界中的生物进化,只是速度更快。
故事要从 20 世纪 80 年代初讲起,当时我有幸参与研发的划时代存储产品——IBM Model 3380(opens in a new tab) 问世,这是一款集控制器和存储介质于一体的直接存取存储设备 (DASD)。1985 年,该产品利用两个磁头磁盘组合件 (HDA) 实现了 5.04GB 的总存储容量,每个组合件重量达到约 77 公斤,并且每个主轴都装备了两个独立的传动器,单个传动器的容量高达 1.26GB。该产品数据吞吐量为 3 MB/s,平均寻道时间为 16 毫秒。为承载 14 英寸磁盘的重量,主轴特别选用了卡车级重型滚珠轴承。
提高未来模型容量的一个关键考虑因素是性能。工程师们曾探讨过单个传动器所能支持的文件系统容量。当时,部分工程师认为每个传动器的容量上限约为 1GB,这意味着要实现更大的扩展性,必须做出一些改变。事实证明,这种估计往往是保守的。
在 20 世纪 90 年代,单个大型昂贵磁盘 (SLED) 逐渐被一组体积更小、成本更低的独立磁盘冗余阵列 (RAID) 取代。RAID 的引入,意味着原本需要两个大型 14 英寸磁盘堆叠的机架,现在可以被多个 3.5 英寸标准硬盘驱动器 (HDD) 阵列所取代。这一变革不仅带来了以下改进,还在长达十多年的时间里,缓解了人们对性能的担忧:
- 机架内实现了更高的存储体积密度
- 通过冗余设计,提高了就地重建故障驱动器的可靠性
- 得益于磁盘直径的减小,每千兆字节的存储中集成了更多传动器
- 传动器体积更小、重量更轻,使寻道性能更快
- 数据在多个驱动器间的并行分布,提升了带宽
在 20 世纪 90 年代末至 21 世纪初,HDD 技术的飞速进步极大地提升了面密度和驱动器容量,巅峰时期甚至实现了每年翻倍增长。这一显著成就再次将人们的注意力集中到了性能提升的需求上。为了增强带宽并缩短寻道时间,业界引入了转速在 10,000 RPM 的较小磁盘堆叠(65 毫米),随后又推出了直径更小(48 毫米)、转速达 15,000 RPM 的磁盘。
然而,这些性能提升相较于传统基准而言,也增加了每位成本。到了 21 世纪中叶,转速为 10,000 RPM 的 2.5 英寸 HDD 成为了企业存储系统的标配。而在 21 世纪末期,出现了一种名为近线或大容量的新型 HDD,这类硬盘最初采用 3.5 英寸磁盘,每个主轴上装有六张盘片,转速为 5,400 RPM。随着氦气密封技术的问世,现代 HDD 现在能够容纳多达 11 张盘片,并实现 7,200 RPM 的转速。
大约在 2007 年前后,企业存储系统领域开始积极探索 NAND 闪存技术在企业数据存储上的应用潜力。这些固态硬盘 (SSD) 以非易失性存储芯片为核心,取代了传统的机械磁盘,从而实现了速度的显著提升,尽管同时也带来了相对较高的成本。在一些对快速访问和极低延迟有极高要求的重要存储场景中(如 HDD 阵列中的写缓存),SSD 完美满足了这些需求。2010 年,我有幸参与率先推出了企业级 SSD,这是一款由 HGST 和 Intel 联合开发的 100GB SLC SAS 接口 SSD。
到了 21 世纪 10 年代中期至晚期,随着 SSD 位成本的下降以及系统架构和软件的优化,SSD 的高速性能优势得到充分展现,并开始逐步取代原本应用于高性能场景的 15,000 RPM 以及随后的 10,000 RPM HDD。与此同时,企业 HDD 的主流产品也已转向了 3.5 英寸 7,200 RPM 的近线存储硬盘。这类硬盘如今承担着企业 85% 至 90% 的数据存储任务,但在高性能应用领域,已被 SSD 所取代。
存储技术持续发展。尽管 NAND 闪存的成本正在下降,但 HDD 却因磁性扩展限制而面临着提升面密度的挑战,因此需要诸如能量辅助或热辅助记录等创新技术。同时,HDD 的性能提升也受到其机械结构的限制而难以取得突破性进展。另一方面,生成式 AI 和图形处理器 (GPU) 对存储工作负载的需求日益增加,对性能提出了更高要求。尽管存储软件已取得进步,能够应对 HDD 每太字节性能下降的问题,但其能力仍有局限。为此,HDD 供应商正在重新审视并借鉴过去的策略,例如通过增加每个主轴的传动器数量来提升性能。
随着相对成本的不断下降和对性能需求的日益提升,存储阵列中正趋向于采用超大容量的 SSD。这一转变与从早期的 SLED 向 RAID 的演进相似,存储密度的提升不仅减少了驱动器的成本,还降低了系统的整体开支。采用大容量 SSD 构建的系统,在能效方面也表现出色,其每瓦吞吐量相较于 HDD 可高出 7.5 倍,每瓦容量也是 HDD 的三倍有余。
例如,近期推出的 Micron 6550 ION SSD,凭借其卓越的速度和能效,已成为市场上 60TB 数据中心 SSD 的佼佼者。随着数据中心规模持续扩张,GPU 数量不断攀升,同时电力供应也面临严峻挑战,相对于 HDD 系统,大容量 SSD 系统在成本控制和能源效率方面正逐步展现出显著优势。到本世纪末,我们或将见证容量高达 250TB 甚至 500TB 的 SSD 问世。这些 SSD 能够在标准 2RU 机箱内安装多达 40 个,单个机架可实现超过 100PB 的存储容量。
最后的核心点是,存储领域永恒不变的主题便是不断演变。为了满足客户对于容量、成本、性能及功耗的多元化需求,创新设计、架构与技术不断涌现。尽管在流式传输与数据检索等要求不高的场合,HDD 仍作为长期数据存储的低成本媒介解决方案而占据一席之地。然而,大容量 SSD 已蓄势待发,准备引领下一场存储革命,预计将推动数据中心内大量数据从 HDD 到 SSD 的迁移。
技术日新月异,我深感荣幸能够亲历并参与到这场变革之中。在我的职业生涯中,我见证了机架容量从 5GB 跃升至 100PB,机架传输速度也从 3MB/s 飙升到可能达到的 1TB/s,这一历程可谓非凡至极。这些进步源于我们对存储更多数据永无止境的追求。而这些创新成果的取得,离不开那些智慧超群的人才,能与他们共事多年,我倍感荣幸。而今,这个故事仍在不断书写,未来可期……