从来都是别人给英伟达打钱,但最近英伟达也给人打钱了。为了给最近火爆的生成式AI和大语言模型(LLM)提供强大的加速能力,英伟达在其GPU产品中需要使用高带宽内存(HBM),而HBM技术主要掌握在SK海力士和美光等公司手里。
市场研究机构TrendForce指出,英伟达2024年的产品组合分类将更为细致,除了之前的既有产品A100/A800以及H100/H800之外,还将推出使用6颗HBM3e的H200以及8颗HBM3e的B100,并同步整合自家基于Arm架构的 CPU与GPU,推出GH200及GB200。
据台湾《电子时报》报道,英伟达为了确保HBM的稳定供应,已经向SK海力士和美光公司提前支付了数亿美元预付款。与此同时,三星电子最近也完成了产品测试,并与英伟达签订了HBM产品供应合同。
而就在26日,BusinessKorea也援引半导体业内人士消息称,在HBM市场,已有一家客户预付6亿美元,支持美光开发新产品。目前美光主要客户正在对美光开发的HBM3E进行质量评估。
据业内人士提供的消息,SK海力士和美光公司分别从英伟达获得了7000亿~1万亿韩元(约5.4亿~7.7亿美元)的预付款。尽管具体细节尚未披露,但业内人士认为,这是英伟达为确保其在2024年新推出的GPU稳定供应HBM3e而采取的必要措施。
HBM要起飞了
大模型的推理和训练是内存密集型工作,从内存中存储和检索数据的能力将制约AI芯片性能的发挥,即内存墙。HBM在传统DDR内存和片上缓存的基础上,通过大幅增加引脚数量以达到每个HBM堆栈1024位宽的内存总线,实现了更高的带宽,相当于每个DIMM 64位宽的DDR5的16倍,从而解决内存墙的问题。
由于能有效解决“内存墙”和“功耗墙”问题,HBM成为GPU芯片内存解决方案,如今已经迎来价量齐升新阶段,这与《电子工程专辑》在最新《2024年全球半导体行业10大技术趋势》中预测的一致。
据TrendForce预测,高端AI服务器GPU搭载HBM芯片已成为主流趋势,2023年全球搭载HBM总容量将达2.9亿GB,同比增长近60%。
Omdia研究显示,从2023年到2027年,DRAM市场收入的年增长率预计为21%,而HBM市场预计将飙升52%。HBM今年在DRAM市场收入中的份额预计将超过10%,到2027年将接近20%。
根据SK海力士自己的预测,到2027年HBM市场将出现82%的复合年增长率。
相对于GDDR显存来讲,HBM是一种3D堆叠方式,通过使用先进封装方法垂直堆叠多个DRAM,与GPU通过中介层互联封装在一起,在较小的物理空间里实现存储器高容量、高宽带、低延时与低功耗。
HBM主要玩家和市场格局
一般来说,客户向内存供应商大规模预付款项的情况很少见。然而,由于AI发展导致HBM市场需求快速增长,英伟达计划通过积极的投资来确保稳定的HBM来源,以确保其GPU的供货。其他全球科技巨头如 AMD、微软、亚马逊等也在竞购 HBM3E。
这对于在2023年遭受重大损失的内存供应商来说,预付款可以帮助他们解决财务问题,并降低与HBM相关的投资风险。资料显示,尽管HBM市场整体短缺,但内存供应商仍面临巨大的投资负担。其中,提高硅通孔(TSV)工艺的成本和产量是最具挑战性的任务。随着HBM的不断发展,工艺和设备要求也在不断变化,内存供应商必须采用不同的解决方案来解决散热等问题。因此,需要在技术开发方面进行大量投资,而英伟达以大量预付款的形式提供资金支持,预计将会推动内存供应商对HBM的研发投入。
从市场格局上来看,HBM的竞争主要在SK海力士、三星和美光之间展开。根据 TrendForce报告统计,2022年SK海力士占据了HBM全球市场规模的50%,其次是三星占比40%,美光占10%。
2023年以来,三大HBM巨头在股票市场大幅上涨。截至目前,美国上市的美光科技年内涨幅达到75.16%,最新总市值逼近千亿美元;韩国上市的SK海力士、三星电子年内分别上涨87.2%、41.05%。
据报道,三星最近完成了HBM3和HBM3E的产品测试,并与英伟达签署了供应合同。但有分析人士指出,与SK海力士在英伟达产品测试中使用1b纳米(第五代10纳米)内存相比,三星电子在生产HBM3E时使用的还是1a纳米(第四代10纳米)工艺,其可能需要额外的流程来提高性能,从而导致更高的成本。
在上个月末的财报会议上,SK海力士已透露,2024年的HBM3与HBM3E产能已全部售罄,正在与客户、合作伙伴讨论2025年HBM产量与供应。
美光公司在上周公布财报时,美光CEO Sanjay Mehrotra对外透露,公司正处于“为英伟达下一代AI加速器供应HBM3E的最后验证阶段”。得益于生成式AI的火爆,推动了云端高性能AI芯片对于HBM的旺盛需求,美光2024年的HBM产能预计已全部售罄。美光指出,专为AI、超级计算机设计的HBM3E预计2024年初量产,有望于2024会计年度创造数亿美元的营收。
三星与SK海力士还正在开发HBM4,预计将采用混合键合技术,实现扩大容量的同时有效缩小尺寸。