继2020年10月推出具备4Gbps性能的HBM2E内存接口解决方案之后,日前,Rambus又宣布推出支持HBM3的内存接口子系统,内含完全集成的PHY和数字控制器,数据传输速率高达8.4Gbps,可提供超过1TB/s的带宽,采用标准的16通道设置,可以达到1024位宽接口,是当前高端HBM2E内存子系统的两倍以上。
图1:Rambus推出支持HBM3的内存子系统,速率可达8.4Gbps,助力AI ML性能提升
图2形象的介绍了HBM性能的历史演进——最开始的HBM1,数据传输速率大概可以达到1Gbps左右;2016年推出的HBM2,最高数据传输速率可以达到2Gbps;而到了2018年,HBM2E的最高数据传输速率已经可以达到3.6Gbps。
图2:HBM性能演进
“随着越来越多的厂商在AI/ML领域不断发力,内存产品设计的复杂性正在快速上升,并对带宽提出了更高的要求,这也是我们首批推出支持HBM3内存子系统的原因所在。”Rambus IP核产品营销高级总监Frank Ferro对《电子工程专辑》表示,除了AI/ML训练市场之外,HBM3还可用于5G、高性能计算、以及其他与数据中心相关的应用场景、图形应用程序和网络应用。
简单了解一下Rambus支持HBM3的内存接口子系统的优势:
• 高达8.4Gbps的数据传输速率,以及1.075TB/s带宽
• 完全集成的PHY和数字控制器,可降低ASIC设计的复杂度,并加速上市时间
• 针对所有类型数据流量场景,完全释放带宽性能
• 支持HBM3 RAS功能
• 内置硬件级性能活动监视器
• 提供Rambus系统和SI/PI专家技术支持,为ASIC设计人员提供帮助,确保设备和系统具有最优的信号和电源完整性
• 作为IP授权的一部分,提供包括2.5D封装和中介层参考设计
• 具有特色的LabStation™开发环境,可实现快速系统启动、校正和调试
• 可提供先进AI/ML训练和HPC系统等应用所需的极高性能
Rambus官方提供的数据显示,截至目前,Rambus在HBM市场份额排名第一,赢得超过50个设计订单,其控制器应用在HBM市场超过85%的产品当中。
Frank Ferro指出,在JEDEC尚未发布HBM3相关标准,SK海力士已经发布HBM3产品(最高数据传输速率5.2Gbps)的大环境下,Rambus将自有HBM3产品最高数据传输速率提升到8.4Gbps,是有更深层次考虑的。
首先,仅凭DRAM是远远无法达到上述传输速率的;其次,回顾HBM2E刚刚推出的时候,其数据传输速率是逐渐从3.4Gbps上升到3.6Gbps,所以与之前的HBM产品一样,HBM3也会迎来一段持续发力的时期,并在数据传输速率上有更大的提升;最后,8.4Gbps的速率选择也是出于对未来产品规划的一些考量,同时也可以为客户和设计师提供更高的设计裕度,为未来的产品开发做好后续准备。
图3展示了Rambus HBM3-Ready内存子系统产品的主要架构。从上到下依次是4块通过TSV堆叠方式叠加在一起的DRAM内存条,SoC,中介层和封装,它们共同组成了整个2.5D的系统架构。
图3:Rambus HBM3-Ready内存子系统产品主要架构
Frank Ferro对记者说,HBM的发展很大程度上是由不断上升的带宽需求驱动的,而对带宽的需求几乎没有上限。换句话说,目前来看HBM的发展可能不会遇到障碍。但对比GDDR DRAM动辄16/18Gbps的速率,HBM3 8.4Gbps的速率仍然存在差距,而限制HBM发展的原因则主要来自两方面:一是中介层,二是成本。
在HBM2时代,一代和二代的中介层最高只能做到两层,它设计的线宽、金属层的厚度都非常有限。但 HBM3对中介层的要求显著高于HBM2,但好在随着中介层技术的发展,其本身的厚度、金属层和线宽都有了一定的增加,这也进一步推动了HBM未来的发展。
先进的2.5D/3D制造是造成成本偏高的原因。众所周知,HBM技术与其他技术最大的不同,就是采用了3D堆叠技术。对比HBM2E、DDR、GDDR,HBM3架构的基本单元同样是基于DRAM,但不同于其他产品将DDR进行平铺的做法,HBM选择了3D堆叠,其直接结果就是接口变得更宽。比如DDR的接口位宽只有64位,而HBM通过DRAM堆叠的方式可以将位宽提升到1024位,这就是HBM与其他竞争技术相比最大的差异。
但这对成本比较敏感的客户或应用场景来说,使用HBM的门槛就被大幅提升了。针对这个问题,Rambus已经在与整个行业和生态系统协作,希望进一步加速技术的发展和迭代,降低HBM成本,让更多客户可以应用HBM产品。
“过去,HBM2E实现一个特定的带宽需求,可能需要4个DRAM;而HBM3可能只需要2个DRAM,这就带来非常直接的成本下降。当然,如果客户追求最高的带宽,不考虑成本,哪怕是HBM3,依旧会选择采用4个DRAM;但对成本比较敏感的客户来说,HBM3的整体成本其实是下降的。”Frank Ferro说。
作为一个完整的内存子系统产品,除了支持HBM3的完全集成式存储器子系统,包括经过验证的PHY、I/O、Decap以及数字控制器外,Rambus还为客户提供不同中介层和封装的参考设计,例如同时支持OSAT和CoWoS生产2.5D流程,以加快客户产品上市速度。
“2.5D封装在应用的时候,需要考虑两个主要的挑战。”Frank Ferro强调称,第一,要确保信号的完整性,包括与中介层之间信号的互联,这是非常重要的环节,是首要考虑的挑战,这要求在整个封装系统上具备非常良好的控制程序;第二,2.5D封装整体的尺寸非常小,必须考虑可能产生的散热问题。
尽管作为IP解决方案提供商,在整个散热方面能做的事情非常有限,但Rambus还是在两方面给予了最大的支持:首先,确保所提供的IP尽可能稳健,不出任何问题,并支持更高的工作温度区间;其次,进一步降低设备和IP运行所需的功耗。毕竟,设备运行的热量主要来自物理层,功耗越高,物理层的发热就越大。