AI时代,HBM掀起存储芯片新浪潮

FPGA开发圈 2024-04-09 12:03

2022年末,ChatGPT的面世无疑成为了引领人工智能浪潮的标志性事件,宣告着新一轮科技革命的到来。

从ChatGPT掀起的一片浪花,到无数大模型席卷全球浪潮,再到今年的Sora火爆全网,人工智能的浪潮一浪高过一浪。 

在这波浪潮中,伴随着人才、数据、算力的不断跃级,人工智能产业正展现出巨大的潜力和应用前景,正在多个领域展现出重要作用。

AI的快速发展对算力的需求呈现井喷的态势,全球算力规模超高速增长。国际数据公司IDC、浪潮信息等联合发布的《2022-2023全球计算力指数评估报告》预测,全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元。

巨大的生产潜力下,以GPU为代表的AI芯片供应商在市场上独孤求败,无论是股票市值还是公司业绩,头部AI企业涨幅领跑全球市场,迎来了有史以来最强劲的增长态势。


GPU繁荣背后,HBM同样炙手可热 


AI热潮造就GPU繁荣的同时,也让扮演关键角色的HBM热度高居不下,成为当前AI赛道的新兴爆发风口。

HBM,全称为High Bandwidth Memory,即高带宽存储器,是一款新型基于3D堆栈工艺的高性能DRAM,其实就是将很多个DDR芯片堆叠在一起后和GPU封装在一起,实现大容量,高位宽的DDR组合阵列。

图:AMD官网


与传统DRAM芯片相比,HBM具有高带宽、高容量、低延时与低功耗等优势,可以加快AI数据处理速度。


凭借这些优势,HBM能够实现大模型时代的高算力、大存储的现实需求,在所有存储芯片中,HBM被看作是最适用于AI训练、推理的存储芯片,是AI性能提升的关键。


据了解,HBM主要是通过硅通孔(TSV)工艺进行芯片堆叠,以增加吞吐量并克服单一封装内带宽的限制,将数个DRAM裸片像楼层一样垂直堆叠。相较传统封装方式,TSV技术能够缩减30%体积,并降低50%能耗。


同时,也正是基于Interposer中介层互联实现了近存计算,以及TSV工艺的堆叠技术,也让更大的模型,更多的参数留在离核心计算更近的地方,从而减少内存和存储解决方案带来的延迟。


从技术角度看,HBM使得DRAM从传统2D转变为立体3D,充分利用空间、缩小面积,正契合半导体行业小型化、集成化的发展趋势。HBM突破了内存容量与带宽瓶颈,被视为新一代DRAM解决方案,业界认为这是DRAM通过存储器层次结构的多样化开辟一条新的道路,革命性提升DRAM的性能。


随着存储数据量激增,市场对于HBM的需求将有望大幅提升。


从技术迭代上看,自2014年全球首款硅通孔HBM产品问世以来,HBM已经从HBM1、HBM2、HBM2E,发展至目前被业界认为成为市场主流的HBM3,甚至HBM3E。

  • 最初的HBM1为4层die堆叠,提供128GB/s带宽,4GB内存,显著优于同期GDDR5;

  • HBM2于2016年发布,2018年正式推出,为4层DRAM die,现在多为8层die,提供256GB/s带宽,2.4Gbps传输速度和8GB内存;

  • HBM2E于2018年发布,于2020年正式提出,在传输速度和内存等方面均有较大提升,提供3.6Gbps传输速度和16GB内存;

  •  HBM3于2020年发布,2022年正式推出,堆叠层数及管理通道数均有增加,提供6.4Gbps传输速度和16GB内存;

  • 第五产品HBM3E,提供供高达8Gbps的传输速度和24GB容量,计划于2024年大规模量产。


图源:Rambus


近段时间来,全球多个科技巨头都在竞购第五代高带宽内存HBM3E。自2024年起,市场关注焦点即由HBM3转向HBM3e,预计下半年将逐季放量,并逐步成为HBM市场主流。


对于接下来的规划和技术发展方向,业界旨在突破目前HBM在速度、密度、功耗、占板空间等方面的极限。


过去几年来,HBM产品带宽增加了数倍,目前已接近或达到1TB/秒的里程碑节点。相较于同期内其他产品仅增加两三倍的带宽增速,HBM的快速发展归功于存储器制造商之间的竞争和比拼。


下一代HBM4有望于2025-2026年推出。随着客户对运算效能要求的提升,HBM4在堆栈的层数上,除了现有的12hi(12层)外,也将再往16hi(16层)发展,更高层数也预估带动新堆栈方式hybrid bonding的需求。HBM4 12hi产品将于2026年推出,而16hi产品则预计于2027年问世。



HBM芯片,AI时代的“金矿”


HBM突破了内存容量与带宽瓶颈,可以为GPU提供更快的并行数据处理速度,打破“内存墙”对算力提升的桎梏。


凭借诸多优势,HBM成为AI时代的“新宠”,受到各大厂商的追捧,市场需求强劲。


首先,AI服务器的需求会在近两年爆增,如今在市场上已经出现了快速的增长。AI服务器可以在短时间内处理大量数据,GPU可以让数据处理量和传输速率的大幅提升,让AI服务器对带宽提出了更高的要求,HBM基本成为了AI服务器的标配。比如,AMD的MI300X、MI300A、MI250、MI250X等系列GPU已成为AI服务器市场的主流产品,这些GPU基本都配备了HBM。


并且AI浪潮还在愈演愈烈,HBM今后的存在感或许会越来越强。据semiconductor-digest预测,到2031年,全球HBM市场预计将从2022年的2.93亿美元增长到34.34亿美元,在2023-2031年的预测期内复合年增长率为31.3%。


这样的市场表现,无疑证明了HBM在市场上的巨大潜力。它不仅仅是一种存储芯片,更是AI时代的“金矿”。


除了AI服务器,汽车也是HBM值得关注的应用领域。汽车中的摄像头数量,所有这些摄像头的数据速率和处理所有信息的速度都是天文数字,想要在车辆周围快速传输大量数据,HBM具有很大的带宽优势。


另外,AR和VR也是HBM未来将发力的领域。因为VR和AR系统需要高分辨率的显示器,这些显示器需要更多的带宽来在 GPU 和内存之间传输数据。而且,VR和AR也需要实时处理大量数据,这都需要HBM的超强带宽来助力。


此外,智能手机、平板电脑、游戏机和可穿戴设备的需求也在不断增长,这些设备需要更先进的内存解决方案来支持其不断增长的计算需求,HBM也有望在这些领域得到增长。并且,5G 和物联网 (IoT) 等新技术的出现也进一步推动了对HBM的需求。


整体来看,随着人工智能、机器学习、高性能计算、数据中心、自动驾驶、AR/VR等应用市场的兴起,内存产品设计的复杂性正在快速上升,并对带宽提出了更高的要求,不断上升的宽带需求持续驱动HBM发展。相信未来,存储巨头们将会持续发力、上下游厂商相继入局,让HBM得到更快的发展和更多的关注。


据市场研究机构TrendForce预测,2023年全球搭载HBM总容量将达2.9亿GB,同比增长近60%。到2027年,HBM市场预计将以82%的复合年增长率保持增长,未来市场前景非常广阔。


在2023年的市场风云中,存储芯片市场持续低迷,HBM如同一股清流逆流而上,照亮了存储行业的前行之路,成为存储巨头在下行行情中对业绩的重要扭转力量,也是产业链上常提及的高频词。


当以AI GPU为代表的相关各类需求如潮水般汹涌而至,由于英伟达和AMD等AI芯片制造商的需求激增,HBM价格逆势上扬,成为了行业的“香饽饽”。


方正证券报告指出,从成本端来看,HBM平均售价至少是DRAM三倍;而此前受ChatGPT的拉动同时受限产能不足,供不应求成为现状,HBM价格一路上涨。


2023年,HBM平均售价“逆势暴涨”500%。2024年,HBM依旧“状态火热”。



 扩产,HBM厂商的主旋律


受生成式AI大模型等领域的驱动,HBM逐渐发展成为新兴热门产业之一,随着上游客户不断发出新的需求,目前HBM市场正释放出供不应求的信号。


在此现状和趋势下,HBM产能紧张的问题日益凸显,正释放出供不应求的信号。很多高性能GPU的产能上不来,很大程度上就是因为HBM不够用了。


日前,美光科技CEO Sanjay Mehrotra 在财报电话会议上表示,AI 服务器需求正推动 HBM DDR5 和数据中心 SSD 快速成长,这使得高阶 DRAM、NAND 供给变得吃紧,进而对储存终端市场报价带来正面连锁效应。同时强调道:“美光今年HBM产能已销售一空,且2025年绝大多数产能已被预订。”


不难猜测,在此情形下,其他HBM供应商例如SK海力士和三星电子的产能估计也会变得紧张。


对此,生产和扩产成了HBM提供商的主旋律。


据报道,包括美光科技在内的头部存储原厂正在追加投资HBM产线,扩大HBM目标产能,以应对市场的旺盛需求。同时,大厂们继续埋头攻破技术壁垒,以迅速抓住市场新机遇,力求在下一代标准中掌握主导权。


预计今年各大制造商在HBM领域将会有更多举措,属于HBM市场的一场争夺战正式开启。


然而,即便是在这样的扩产计划下,HBM的供应仍然难以满足市场的需求。市场研究公司Yole表示,受到生产扩张难度和需求激增的双重影响,2023-2028年间,HBM供应的年复合增长率将达到45%。这意味着,在相当长的一段时间内,HBM的价格都将保持高位。


从性能来看,HBM无疑是出色的,其在数据传输的速率、带宽以及密度上都有着巨大的优势。不过,目前HBM仍主要应用于服务器、数据中心等应用领域,其最大的限制条件在于成本,对成本比较敏感的消费领域而言,HBM的使用门槛仍较高。因此HBM当前市场份额还比较低,但随着多领域需求的提升,未来HBM市场将会呈现爆发式的增长。


根据TrendForce预估,2024年全球HBM的位元供给有望增长105%,市场规模也有望于今年达89亿美元,同比增长127%,预计至2026年市场规模将达127.4亿美元,对应CAGR约37%。


以规格而言,伴随AI芯片需要更高的效能,HBM主流也将在2024年移转至HBM3与HBM3E。整体而言,在需求位元提高以及HBM3与HBM3E平均销售价格高于前代产品的情形下,2024年HBM营收可望有显著的成长。



存储回暖,HBM加速 


目前消费电子已出现复苏信号,行业新的转机正在孕育生成,AI催生存力新需求,2024年存储市场有望迎来新的转机。


在供应链库存水位已大幅改善和需求回温的态势下, 客户为避免供货短缺及成本垫高的风险, 持续增加采购订单。


据TrendForce数据预测,2024年一季度受惠订单规模持续放大,激励DRAM合约价季涨幅约13~18%,NAND Flash则是18-23%。


NAND Flash合约价平均涨幅高达25%;观察2024年第一季DRAM市场趋势,原厂目标仍为改善获利,涨价意图强烈,促使DRAM合约价季涨幅近两成。


展望第二季度,虽然目前市场对整体需求看法仍属保守,但DRAM与NAND Flash供应商已分别在2023年第四季下旬,以及2024年第一季调升产能利用率,加上NAND Flash买方也早在第一季将陆续完成库存回补。因此,DRAM、NAND Flash第二季合约价季涨幅皆收敛至3~8%。


存储芯片市场价格的反弹信号,让行业人士看到了“曙光”。


而随着HBM的兴起,将成为半导体和算力行业未来新的增长点,HBM无疑将继续引领存储行业的新篇章。而那些能够在这个领域立足并不断创新的公司,也将会迎来更加广阔的发展空间和机遇。


据WSTS预测,2024年存储芯片市场涨幅达44.8%。


过去两年来,在存储市场下行时期,HBM作为行业的中流砥柱异军突起,为行业疲态“雪中送炭”;而如今,随着存储行业触底反弹,优势傍身的HBM在产业抢购与扩产声中,再次掀起存储芯片的发展新浪潮,为其增势“锦上添花”。


展望未来,随着AI技术的不断进步和应用场景的拓展,HBM的需求将会持续增长。而国际存储芯片大厂们也在积极布局,加大产能扩张力度,以应对市场的挑战。同时,随着HBM技术的不断成熟和应用领域的拓展,其成本也有望逐渐降低,从而进一步推动其在市场上的普及和应用。


文章来源:艾睿电子

(本文章由SupplyFrame提供, 对于文章中相关的分析、市场预测等信息仅供参考, 艾睿电子不对任何文章内的资料因不充分、不完整或未能提供特定资料产生的任何损失承担任何责任。图片及封面由摄图网提供)


预约直播

FPGA开发圈 这里介绍、交流、有关FPGA开发资料(文档下载,技术解答等),提升FPGA应用能力。
评论
  •         霍尔传感器是根据霍尔效应制作的一种磁场传感器。霍尔效应是磁电效应的一种,这一现象是霍尔(A.H.Hall,1855—1938)于1879年在研究金属的导电机构时发现的。后来发现半导体、导电流体等也有这种效应,而半导体的霍尔效应比金属强得多,利用这现象制成的各种霍尔元件,广泛地应用于工业自动化技术、检测技术及信息处理等方面。霍尔效应是研究半导体材料性能的基本方法。通过霍尔效应实验测定的霍尔系数,能够判断半导体材料的导电类型、载流子浓度及载流子
    锦正茂科技 2024-12-10 11:07 64浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  •         在有电流流过的导线周围会感生出磁场,再用霍尔器件检测由电流感生的磁场,即可测出产生这个磁场的电流的量值。由此就可以构成霍尔电流、电压传感器。因为霍尔器件的输出电压与加在它上面的磁感应强度以及流过其中的工作电流的乘积成比例,是一个具有乘法器功能的器件,并且可与各种逻辑电路直接接口,还可以直接驱动各种性质的负载。因为霍尔器件的应用原理简单,信号处理方便,器件本身又具有一系列的du特优点,所以在变频器中也发挥了非常重要的作用。  &nb
    锦正茂科技 2024-12-10 12:57 76浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 74浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 78浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 66浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 44浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 70浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 101浏览
  • 本文介绍Linux系统(Ubuntu/Debian通用)挂载exfat格式U盘的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。修改对应的内核配置文件# 进入sdk目录cdrk3562_linux# 编辑内核配置文件vi./kernel-5.10/arch/arm64/configs/rockchip_linux_defconfig注:不清楚内核使用哪个defc
    Industio_触觉智能 2024-12-10 09:44 90浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • 肖特基具有很多的应用场景, 可以做同步整流,防止电流倒灌和电源反接等,但是随着电源电流的增大,肖特基导通正向压降0.3~0.7v的劣势也越发明显,产生了很多的热,对于工程师的散热设计是个考验,增加了工程师的设计难度和产品成本,目前一种新的理想二极管及其控制器,目前正在得到越来越广泛的应用- BMS,无人机,PLC,安防,家电,电动工具,汽车等都在快速普及理想二极管有三种架构,内置电荷泵的类似无锡明芯微MX5050T这种,驱动能力会弱点,静态功耗200uA,外置电荷泵MX74700T的这种驱动能力
    王萌 2024-12-10 08:51 85浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 45浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦