众所周知,随着AI技术的发展以及普及,GPU和加速器早已成为AI技术背后的重要支柱,但相比之下,存储器支持AI的重要性则较少受到关注。
过去,存储和内存的发展相对独立,主要聚焦于提升各自的容量。然而,随着AI技术的普及,这一局面发生了变化。
日前,美光副总裁暨客户端存储事业部总经理Prasad Alluri在接受电子工程专辑分析师采访时指出,AI技术使存储和内存开始与系统架构进行更紧密的集成和优化;其次,能效成为了设计时考虑的关键因素之一。
存储和内存领域重要的转折点
人工智能(AI)是当代发展最强大的推动力,它正在加速全社会的进步。Prasad Alluri表示:“在我的职业经历中,AI的崛起可能是我见证过的最重大的变化之一,其影响力仅逊于从硬盘驱动器(HDD)到固态硬盘(SSD)的转变,这在存储和内存领域标志着一个重要的转折点。”
随着AI应用的广泛普及和新模型的不断涌现,它们对计算、内存和存储的需求日益增长。
为了满足AI所需的计算能力,数据必须尽可能靠近GPU,这就需要大量的内存支持。同时,为了支持这种内存需求,强大的存储解决方案是必不可少的。
从容量增长的角度来看,AI正在推动数据中心领域实现显著的容量增长,超越了其他许多领域。
Prasad Alluri认为,在分析AI基础设施对数据中心存储的影响时,可以特别关注AI专用的数据中心,并将其存储需求划分为两大类:一是用于模型训练的海量数据存储,二是服务于训练过程的高性能存储。
首先,对于模型训练所需的海量数据存储,这里需要一个庞大的数据池,通常被称为“数据湖”。以GPT-4为例,它在训练过程中大约利用了互联网数据总量的四分之一,这突出显示了大规模转换器模型对数据的庞大需求。
因此,这样的“数据湖”必须具备高效、经济地处理和存储大量数据的能力。为了满足这些要求,传统的大容量硬盘驱动器已不再适用,取而代之的是大容量的固态硬盘(SSD),如美光提供的6500 ION系列,该产品专为应对大容量存储挑战而设计,不仅能减少物理空间占用,还能有效降低能耗,提高能效。
其次,是直接支持训练过程的高性能存储。这部分存储位于接近GPU的位置,主要负责将“数据湖”中的数据快速传输至GPU内存中,以加速模型训练。这一环节的关键在于设备的原始性能,特别是随机访问能力。
据Prasad Alluri介绍,美光9550 SSD就是针对这一需求设计的产品,它在随机读取性能上处于行业领先地位,可达到3,300 KIOPS的高读取速度,非常适合支持训练集群的需求。此外,这款SSD还具有出色的能效表现,在支持多种AI工作负载时表现出色,比如在使用大规模存储加速器(BaM)进行图神经网络(GNN)训练时,可以实现高达43%的SSD功耗下降,以及29%的整体系统能耗降低等显著优势。
40 TOPS的NPU算力仅是起点,不代表AI PC的全部潜力
此前,微软为其AI PC产品Copilot+设定了基本的性能标准,包括至少40 TOPS的神经网络处理器(NPU)算力、至少16GB的内存和256GB的存储空间。但Prasad Alluri认为,这些仅是起点,并不代表AI PC的全部潜力。
Prasad Alluri:“要真正理解AI PC,我们应该关注其如何通过提升用户体验来增强生产力,比如通过翻译和图像编辑等任务。这些任务需要在设备上高效完成,而这种整体体验才是AI PC的核心,而非单纯的技术规格。”
为了满足这些需求,Prasad Alluri认为实际所需的内存容量应该远超最低标准。
Prasad Alluri指出,目前,大多数OEM厂商在设计AI PC时,已经配置了24GB至32GB的DRAM。
在存储方面,虽然OEM厂商提供的最低配置为512GB,但Prasad Alluri认为对于AI工作负载来说,1TB的存储空间更为理想。这不仅关乎存储容量,还包括功耗效率和性能。目标是在不增加功耗的情况下,尽可能提高数据从存储到内存的传输速率。
值得一提的是,进一步降低能效是内存和存储设计中的关键因素,美光已经采取了多项措施来应对这一挑战。
据Prasad Alluri介绍,首先,美光加快了LPDDR5X在AI PC中的应用,其性能比同类SODIMM产品提升了约1.5倍。此外,还为AI个人电脑设计了一种新型内存模块——LPCAMM2。
与传统SODIMM产品相比,LPCAMM2在性能提升1.5倍的同时,功耗降低了58%,体积减少了64%。这款新产品主要围绕提升性能、降低功耗和减小体积三大目标设计。LPCAMM2将两个SODIMM的功能集成到一个DIMM中,显著提升了电源效率和性能。
汽车产业面临特有挑战
相较于移动设备和个人电脑领域,汽车产业面临着一系列独特的挑战。Prasad Alluri提到,汽车的设计需确保能够在长达十年或更长的时间内稳定可靠地运行。同时,汽车还必须能够应对极端的环境条件,例如强烈的振动、尘土飞扬的道路等。这些特殊的要求对汽车内存和存储解决方案的设计提出了严格的标准。
随着自动驾驶技术的不断发展,美光科技推出了专为汽车应用优化的技术,如LPDDR5X内存和UFS 4.0技术。LPDDR5X内存着重于提升能耗效率,而UFS 4.0技术的数据传输速率几乎达到了UFS 3.1的两倍,极大地促进了汽车应用的性能提升。
针对新一代汽车架构的需求,美光还特别开发了4150AT SSD,这是一款四端口的SSD,旨在支持汽车行业的区域集中架构和集中决策的趋势。4150AT SSD集成了虚拟化技术,包括单根I/O虚拟化(SR-IOV)和多命名空间(Multi-Namespace)两种形式。其中,多命名空间功能允许用户根据不同的需求,将存储空间划分为SLC(单层单元)、TLC(三层单元)及高耐久性SLC区域,从而实现更灵活、高效的存储管理。
借助虚拟化技术,4150AT SSD可以如同多个独立的SSD般运作,完美匹配具有集中控制特性的区域架构。Prasad Alluri还透露,尽管汽车行业的认证流程较长,目前尚不便公开具体的合作细节,但美光正与多家顶级汽车制造商紧密合作,共同推进NVMe 2.0功能的虚拟化SSD在汽车领域的首次应用。这标志着美光在推动汽车技术进步方面迈出了重要的一步。