AI技术使存储和内存开始与系统架构进行更紧密的集成和优化;其次,能效成为了设计时考虑的关键因素之一。

众所周知,随着AI技术的发展以及普及,GPU和加速器早已成为AI技术背后的重要支柱,但相比之下,存储器支持AI的重要性则较少受到关注。

过去,存储和内存的发展相对独立,主要聚焦于提升各自的容量。然而,随着AI技术的普及,这一局面发生了变化。

日前,美光副总裁暨客户端存储事业部总经理Prasad Alluri在接受电子工程专辑分析师采访时指出,AI技术使存储和内存开始与系统架构进行更紧密的集成和优化;其次,能效成为了设计时考虑的关键因素之一。

存储和内存领域重要的转折点

人工智能(AI)是当代发展最强大的推动力,它正在加速全社会的进步。Prasad Alluri表示:“在我的职业经历中,AI的崛起可能是我见证过的最重大的变化之一,其影响力仅逊于从硬盘驱动器(HDD)到固态硬盘(SSD)的转变,这在存储和内存领域标志着一个重要的转折点。”

随着AI应用的广泛普及和新模型的不断涌现,它们对计算、内存和存储的需求日益增长。

为了满足AI所需的计算能力,数据必须尽可能靠近GPU,这就需要大量的内存支持。同时,为了支持这种内存需求,强大的存储解决方案是必不可少的。

从容量增长的角度来看,AI正在推动数据中心领域实现显著的容量增长,超越了其他许多领域。

Prasad Alluri认为,在分析AI基础设施对数据中心存储的影响时,可以特别关注AI专用的数据中心,并将其存储需求划分为两大类:一是用于模型训练的海量数据存储,二是服务于训练过程的高性能存储。

首先,对于模型训练所需的海量数据存储,这里需要一个庞大的数据池,通常被称为“数据湖”。以GPT-4为例,它在训练过程中大约利用了互联网数据总量的四分之一,这突出显示了大规模转换器模型对数据的庞大需求。

因此,这样的“数据湖”必须具备高效、经济地处理和存储大量数据的能力。为了满足这些要求,传统的大容量硬盘驱动器已不再适用,取而代之的是大容量的固态硬盘(SSD),如美光提供的6500 ION系列,该产品专为应对大容量存储挑战而设计,不仅能减少物理空间占用,还能有效降低能耗,提高能效。

其次,是直接支持训练过程的高性能存储。这部分存储位于接近GPU的位置,主要负责将“数据湖”中的数据快速传输至GPU内存中,以加速模型训练。这一环节的关键在于设备的原始性能,特别是随机访问能力。

据Prasad Alluri介绍,美光9550 SSD就是针对这一需求设计的产品,它在随机读取性能上处于行业领先地位,可达到3,300 KIOPS的高读取速度,非常适合支持训练集群的需求。此外,这款SSD还具有出色的能效表现,在支持多种AI工作负载时表现出色,比如在使用大规模存储加速器(BaM)进行图神经网络(GNN)训练时,可以实现高达43%的SSD功耗下降,以及29%的整体系统能耗降低等显著优势。

40 TOPSNPU算力仅是起点,不代表AI PC的全部潜力

此前,微软为其AI PC产品Copilot+设定了基本的性能标准,包括至少40 TOPS的神经网络处理器(NPU)算力、至少16GB的内存和256GB的存储空间。但Prasad Alluri认为,这些仅是起点,并不代表AI PC的全部潜力。

Prasad Alluri:“要真正理解AI PC,我们应该关注其如何通过提升用户体验来增强生产力,比如通过翻译和图像编辑等任务。这些任务需要在设备上高效完成,而这种整体体验才是AI PC的核心,而非单纯的技术规格。”

为了满足这些需求,Prasad Alluri认为实际所需的内存容量应该远超最低标准。

Prasad Alluri指出,目前,大多数OEM厂商在设计AI PC时,已经配置了24GB至32GB的DRAM。

在存储方面,虽然OEM厂商提供的最低配置为512GB,但Prasad Alluri认为对于AI工作负载来说,1TB的存储空间更为理想。这不仅关乎存储容量,还包括功耗效率和性能。目标是在不增加功耗的情况下,尽可能提高数据从存储到内存的传输速率。

值得一提的是,进一步降低能效是内存和存储设计中的关键因素,美光已经采取了多项措施来应对这一挑战。

据Prasad Alluri介绍,首先,美光加快了LPDDR5X在AI PC中的应用,其性能比同类SODIMM产品提升了约1.5倍。此外,还为AI个人电脑设计了一种新型内存模块——LPCAMM2。

与传统SODIMM产品相比,LPCAMM2在性能提升1.5倍的同时,功耗降低了58%,体积减少了64%。这款新产品主要围绕提升性能、降低功耗和减小体积三大目标设计。LPCAMM2将两个SODIMM的功能集成到一个DIMM中,显著提升了电源效率和性能。

汽车产业面临特有挑战

相较于移动设备和个人电脑领域,汽车产业面临着一系列独特的挑战。Prasad Alluri提到,汽车的设计需确保能够在长达十年或更长的时间内稳定可靠地运行。同时,汽车还必须能够应对极端的环境条件,例如强烈的振动、尘土飞扬的道路等。这些特殊的要求对汽车内存和存储解决方案的设计提出了严格的标准。

随着自动驾驶技术的不断发展,美光科技推出了专为汽车应用优化的技术,如LPDDR5X内存和UFS 4.0技术。LPDDR5X内存着重于提升能耗效率,而UFS 4.0技术的数据传输速率几乎达到了UFS 3.1的两倍,极大地促进了汽车应用的性能提升。

针对新一代汽车架构的需求,美光还特别开发了4150AT SSD,这是一款四端口的SSD,旨在支持汽车行业的区域集中架构和集中决策的趋势。4150AT SSD集成了虚拟化技术,包括单根I/O虚拟化(SR-IOV)和多命名空间(Multi-Namespace)两种形式。其中,多命名空间功能允许用户根据不同的需求,将存储空间划分为SLC(单层单元)、TLC(三层单元)及高耐久性SLC区域,从而实现更灵活、高效的存储管理。

借助虚拟化技术,4150AT SSD可以如同多个独立的SSD般运作,完美匹配具有集中控制特性的区域架构。Prasad Alluri还透露,尽管汽车行业的认证流程较长,目前尚不便公开具体的合作细节,但美光正与多家顶级汽车制造商紧密合作,共同推进NVMe 2.0功能的虚拟化SSD在汽车领域的首次应用。这标志着美光在推动汽车技术进步方面迈出了重要的一步。

责编:Demi
阅读全文,请先
您可能感兴趣
SK海力士将在CES2025,展出HBM、企业级固态硬盘(eSSD)等面向AI的代表性存储器产品,也将展示专为端侧AI优化的解决方案和下一代面向AI的存储器产品。
PS1012采用了最新的第五代PCIe,与基于第四代的产品相比其带宽增大了一倍。因此,数据传输速度可达32GT/s(千兆传输/秒),顺序读取性能是以前一代规格产品的两倍,可达13GB/s(千兆字节/秒)。
SK海力士在HBM4上将对基础裸片的称呼已经从DRAM Base Die调整为Logic Base Die,强调了基础裸片愈发重要的逻辑功能。这意味着HBM4时代的基础裸片将全面转向逻辑半导体工艺。
有家存储芯片厂,今年全年的营收都在涨;持续特定存储领域No.1,究竟是怎么做到的?
继2022年和2023年行业低迷之后,市场曾普遍预期2024年将是行业反弹的起点。然而,进入2024年下半年,国内存储产业的复苏步伐意外放缓。
HBM4将用于特斯拉正在开发的AI数据中心及其自动驾驶汽车。其中,特斯拉采购HBM4芯片将用于强化其超级电脑Dojo的性能。
本研究通过设计闪存存算一体架构,有效提升了计算效率和精度,为解决复杂计算任务提供了重要技术支撑。
日本两大全球汽车集团本田与日产于2024年12月23日宣布启动合并谈判,目标在2025年6月达成协议,三菱汽车也有望加入。若三家车厂顺利合并,当务之急将是整合各自的资源以节省开支,利用规模化生产降低成本,以及加快电动车相关计划......
芯联集成与广汽埃安共建联合实验室,将共同推动汽车半导体技术研发创新,为智能电动汽车注入新活力。
美芯晟最新推出全集成精确直接飞行时间测距的dToF传感器MT3801,基于单光子飞行时间进行精确测距,测距范围支持到5m,同时集成SPAD、算法处理模块、Cortex M0内核和940nm VCSEL及光学滤光片,可广泛应用于手机/Pad、扫地机、吹风机、水龙头、智能马桶、投影仪、无人机等领域。
芝能汽车出品2024年的最后一周销量● 乘用车总量:周度销量 62.69 万,周度销量同比下降 17.95%,周度环比下降 4.58%,年度累计销量 2273.09 万,年度累计同比增长 7.53%。
EVH原创文章1.智新对于电动汽车主驱功率半导体模块的开发思考2.如何提升碳纤维转子在电驱动中的应用价值3.新能源重卡电驱桥产品力研究及架构创新4.舍弗勒全新电驱动桥集成方案一览5.面向扁线工艺的电机
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,2024年12月29日,奇瑞风云A8L皖赣大区举行了上市暨感恩团购会,风云A8L已低至9.49万元。此次,风云A8L共推出5款车型,1.5L
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,1月2日,赛力斯集团董事长(创始人)张兴海向全体员工发布题为《一个目标干到底》的新年寄语。张兴海指出,2024年是具有里程碑意义、转折性意义
作为人工智能领域(AI)中文教材扛鼎之作,南京大学周志华教授所著的《机器学习》帮助无数AI从业者理清了机器学习的基本原理。在书中,周志华解释机器学习基本术语和问题时,贯穿全书用西瓜进行比喻讲解,因此该
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,2025年1月2日,网传一张聊天记录显示,极越汽车“创业2.0”要来了。消息称,1、夏老板(极越汽车CEO夏一平)来开会组建2.0团队,各部
MathWorks 为全球孵化园提供 MATLAB/Simulink 许可证和技术支持,加快其初创公司的上市时间。 MathWorks 日前宣布,与长三角国家技术创新中心(NICE,简称“
芝能科技出品在CES2025前,我们探讨一下机器人 AI 技术,阐述其定义、所需数据与算力及产品迭代路径,并详细分析人形机器人发展瓶颈。研究发现,机器人 AI 是实现机器人智能交互与自主决策的关键,其
点击左上角“锂电联盟会长”,即可关注!快科技1月1日消息,2024年,理想汽车捷报频传。12月交付58513辆,创历史新高。截至2024年12月31日,理想汽车2024年共交付500,508辆,历史累
【求是缘半导体直播沙龙】第十三期股权架构中的常见问题(税收、代持、阴阳合同等)2025年1月5日(周日)晚20:00主讲人:屠柯威北京盈科(杭州)律师事务所 律师求是缘半导体联盟法务部副部长主持人:张