人工智能(AI)是目前整个科技界最炙手可热的增长点。推动AI落地和发展需要三大力:算力、运力和存力,其中的“存力”就是存储,最典型的代表应用就是HBM。就连新晋市值王英伟达(Nvidia)都开出13亿美元的预算,用于向美光和SK海力士预定HBM3E产能,以确保其GH200和H200芯片的顺利出货。
HBM为何如此受追捧?从原理来看,HBM通过将多个DRAM芯片垂直堆叠并与处理器直接通过硅穿孔技术(TSV)连接,极大地提高了数据传输速度。相比传统的DDR内存,HBM提供了更高的带宽,能够满足GPU、AI加速器等对大量数据吞吐的即时需求,降低了数据交换的延迟,减少了能耗。
目前HBM在AI中主要用于云端训练,但其实这种设计理念延伸到边缘端,同样也可以大显身手。
“存储是一个标准化的行业,华邦在行业内深耕多年,希望着眼于未来的需求和趋势,为市场带来差异化的产品,推动行业进一步发展。这也是两三年,华邦都在力推CUBE产品的原因。”日前在深圳举办的一场媒体见面会上,华邦电子产品总监朱迪接受了《电子工程专辑》等媒体的采访,他详细介绍了CUBE(Customized Ultra-Bandwidth Elements,半定制化超高带宽元件)产品,并以利基市场的大量应用为例,阐述了华邦在存储行业的布局战略。
华邦电子产品总监朱迪
什么是CUBE?与HBM有何异同?
谈到CUBE,朱迪表示,可以很形象地把它当成小号的HBM。
如果说服务器上的GPU搭配的是大容量、高带宽的HBM,用于匹配高算力芯片,那么CUBE就是采用类似思路的定制化存储element(元件)。“传统DRAM的IO线就好比高速公路,车道数量已经限定,即使速度再快,整体数据吞吐量也有限。而且传输速度过快会提高功耗,甚至导致传输错误。所以提高数据吞吐量的正确方式,应该是提高带宽。” 朱迪说道。
如此大量的IO连接,如果依靠传统出PIN、焊球和PCB走线,是无法实现的。所以HBM和CUBE高带宽的物理实现方式都是将存储单元与主芯片一起用2.5D或3D方式,die-to-die封装在一起。这种实现方式让大家想到了Chiplet,其实CUBE正是运用了Chiplet的概念,而华邦也是UCIe产业联盟的成员之一。
相比传统的分立存储元件,采用CUBE方案因为系统集成度高,不用PCB走线,大大减小了板子面积,节省了成本,更重要的是数据传输速度和带宽得到提升,功耗可以低于 1pJ/bit,与HBM媲美。
CUBE与HBM最大的差别,在于容量。
由于需要承担训练带来的海量数据吞吐,HBM往往需要具备更多的层数和更大的容量。以目前的HBM3来说,每个存储层容量可达8/16/32Gb,理论上通过堆叠更多层数,单颗HBM3的容量最高可达64GB。“CUBE瞄准的是边缘端应用,所以容量会比较小。但它的速度和带宽跟HBM相当,这对于客户来讲非常有诱惑力。”朱迪认为,算力下沉是趋势,云端算力下放到边缘端,可以让边缘侧的响应速度更快且更安全。
目前搭载CUBE的方案已经可以在边缘端做推理或少量训练。
CUBE不仅仅是产品,也是一项服务
根据华邦的客户反馈,在边缘端做得足够强以后,总体成本并不会升高,反而会降低。其中最典型的例子是汽车类应用,ADAS等功能主要依靠主控芯片做运算,但如果说在端侧车载雷达、摄像头等传感器的算力够强,就可以对采集数据进行预处理,主控芯片就不需要算力太强。
据介绍,CUBE产品并非标准件,而采用半定制化,这是因为不同客户的最终产品形态都不一样,容量、速度或是与SOC的连接方式都不同。
这种差异化的产品形式,也决定了采用CUBE的用户也需要具有足够的创新精神,敢于用新技术。“只有这样,客户自身的产品才能实现创新和差异化,为他们的客户带来不一样的价值。”朱迪透露,目前采用CUBE的客户都具有相当的行业影响力,他们的创新会带动整个行业应用新技术的趋势。反之如果大家都做“Me too”产品,那么最终只能在成本和价格上内卷。
由于需要跟SoC客户深度绑定,所以目前华邦将CUBE作为一项服务来做( CUBE as a Service),而不仅仅当做标准品售卖。与客户对接的内容包括但不限于:存储接口形式、封装形式,甚至还有第三方封测厂。
“我们在中国台湾也有两家这样的封装公司,来配合做CUBE产品。所以华邦是既提供产品也提供相关服务,总体来说是在提供存储解决方案。”朱迪说道,“如果有更多的客户有共性需求,我们也可以把它作成通用规格。但本质上因为CUBE的封装形式,所以无完全通用。”
据介绍,CUBE目前主要采用KGD封装,也就是常说的SIP合封(将DRAM和SOC上下堆叠或side by side平放在一起合封为一颗芯片)。具体来说KGD就是将成品DRAM wafer送到客户指定封装厂,再与主芯片封装,目前华邦超过一半的DRAM产品都是以KGD的方式售卖,对这种商业模式也早已驾轻就熟。
“对于SOC主控厂商来说,也更希望与华邦这样的IDM公司(有自己的制程、技术和产能)合作,这样产能和质量比较有保障。”朱迪说道。
CUBE和传统DRAM的不同应用领域
边缘运算有不同的等级,对算力、存储的要求差别很大。其中穿戴类设备、边缘服务器设备、监控设备、ADAS 及协作机器人等典型的边缘运算应用场景,需要处理实时高清信号,做AI推理,但同时又要求低功耗,是CUBE的主要应用领域。
朱迪表示,华邦的边缘运算产品中,CUBE是目前最高级的形态,主要与SoC搭配;再往下一级,可以用低LPDDR2/3/4, 例如华邦与意法半导体合作的一些STM32系列MCU和MPU;其它对算力要求不高的终端应用,采用HYPERRAM™就足够。
过去,LPDDR4、LPDDR5主要在手机上采用,PC端则主要采用DDR5。然而近两年,穿戴类、工业类、智能家居类等端侧应用对算力的需求增加,让LPDDR4的应用场景越来越多。以典型边缘计算落地场景IP Camera为例,由于需要做实时AI计算和处理高清视频码流,对于带宽要求很高,而LPDDR4双通道32位的带宽天然高于标压DDR4。据悉,目前IP Camera的SOC设计公司,大部分都是华邦的主力客户,包括君正、国科、富瀚、星宸等。
华邦很早就布局LPDDR4,产品甚至比DDR4发布得更早一两年,最近还推出了20nm新制程的4Gb、8Gb LPDDR4产品。据悉,华邦高雄厂去年刚投产,全新设备有能力做到1X纳米制程,明年华邦的制程会来到16nm和14nm。
在汽车领域,华邦同样是个低调的大佬。根据2022年数据,该公司已经是全球第五大车用存储厂商。
“这是按营收算的,如果按出货量算排名会更高,因为我们主要做小容量产品。”朱迪表示,现在国内的汽车行业竞争激烈,产品迭代周期非常长;在供应商层面,以前芯片厂商直接面对的是Tier 1,而现在Tier 0、Tier 0.5都出现了,车厂也会参与到关键器件的选型中。这些对于存储芯片厂商都是挑战。
ADAS是华邦目前瞄准的几类车载应用之一,其中又再细分为传感器(包括激光雷达、毫米波雷达等)、摄像头(后视、前视)和主控芯片,NOR Flash和DRAM都有机会做进去。“可以说在汽车应用上,除了智能座舱和驾舱的UFS、SSD、LPDDR5之外,其他部分我们的产品都能够用上。”
尤其是汽车智能化和电气化后,很多功能都在做冗余备份,以提高可靠性。例如汽车仪表领域的“一芯多屏”趋势,一旦主控芯片宕机所有的中控屏、仪表盘就都不能显示,这时候就需要冗余备份的小系统,其中就搭载着华邦的中小容量存储。
目前汽车IDH或主控平台方案商是华邦的直接客户,海外客户包括NXP、Mobileye等,国内则有地平线、芯驰、黑芝麻等等。
2025,存储行业或迎来“大年”
存储器行业的价格走势,一直是电子行业的晴雨表。
谈到目前的行业景气度,朱迪表示,大容量存储的价格其实从2023年下半年就开始上涨,其中的两大带动因素分别是:
1)需求的带动,尤其是HBM。
2)大厂的自救,几个季度的连续砍产能让整个消费景气反转,库存水位下降。
中小容量存储则涨势较慢。“本质上我们不能叫涨价,应该叫价格修正。毕竟存储行业前几大企业都在亏损,这是一个不正常的行业现象。多年充分竞争过的市场,通过价格修正能够促进整个行业发展得更健康持续。”对于今年下半年和明年上半年的趋势,朱迪表示,华邦在需求面保持乐观态度,认为不会比去年差。
他还分享了一个关于HBM的数据,今年HBM占整个行业的产能是个位数,较乐观的第三方报告认为,明年这一数字会占到30%,这是新出现的需求,会挤占整个DRAM的产能。“我们认为明年应该是存储的大年,尤其是对于中小容量的产品。我们高雄新厂的产能已经从去年的1万片,增加到今年的1.5片,明年会再冲到2万片。”
华邦电子DRAM产品市占(图自:Omida)
谈到竞争,朱迪认为在市场环境中,竞争一直都存在,华邦坦然面对竞争的同时积极提升产品的创新力和竞争力,调整发展战略并做前瞻布局。“深耕行业三十年,华邦是在竞争中一路走过来的,我们的NOR Flash也不是天生行业第一,也是通过充分的市场竞争才有了现在的成绩。”经过下行周期,半导体投资环境没有以前那么乐观,存储行业或许在这两年会出现洗牌,能够留下来的都是真正有竞争力的产品,都是健康良性竞争的结果。