【光电通信】AI时代的核心存力：HBM！

作为行业主流存储产品的动态随机存取存储器DRAM针对不同的应用领域定义了不同的产品，几个主要大类包括LPDDR、DDR、GDDR和HBM等，他们虽然均使用相同的DRAM存储单元（DRAM Die），但其组成架构功能不同，导致对应的性能不同。手机、汽车、消费类等对低功耗要求高主要使用LPDDR，服务器和PC端等有高传输、高密度要求则使用DDR，图形处理及高算力领域对高吞吐量、高带宽、低功耗等综合性要求极高则使用GDDR和HBM。

HBM（High Bandwidth Memory），意为高带宽存储器，是一种面向需要极高吞吐量的数据密集型应用程序的DRAM，常被用于高性能计算、网络交换及转发设备等需要高存储器带宽的领域。

基于冯·诺依曼理论的传统计算机系统架构一直存在“内存墙”的问题，主要归因于：第一存储与计算单元分离，存储与处理器之间通过总线传输数据，这容易导致存储的带宽计算单元的带宽，从而导致AI算力升级较慢；第二，是高功耗，在处理器和存储之间频繁传输数据，会产生较多的能耗，也会使传输速率下降。相较于传统GDDR，HBM具有更高速，更低耗，更轻薄等诸多优点。

HBM凭借独特的TSV信号纵向连接技术，其内部将数个DRAM芯片在缓冲芯片上进行立体堆叠，其内部堆叠的DDR层数可达4层、8层以至12层，从而形成大容量、高位宽的DDR组合阵列。TSV是在DRAM芯片上搭上数千个细微孔并通过垂直贯通的电极连接上下芯片的技术。该技术在缓冲芯片上将数个DRAM芯片堆叠起来，并通过贯通所有芯片层的柱状通道传输信号、指令、电流。相较传统封装方式，该技术能够缩减30%体积，并降低50%能耗。凭借TSV方式，HBM大幅提高了容量和位宽（I/O数量）。与传统内存技术相比，HBM具有更高带宽、更多I/O数量、更低功耗、更小尺寸等特征。

具体来看：

(1）存储带宽问题：由于存储的制成与封装工艺与CPU的制成封装工艺不同，CPU使用的是SRAM寄存器，速度快，双稳态电路，而存储器使用的是DRAM寄存器，速度慢，单稳态电路。

在过去20年内，CPU的峰值计算能力增加了90000倍，内存/硬件互存宽带却只是提高了30倍。存储的带宽通过总线一直限制着计算单位的带宽，最新型的GDDR6单颗带宽上限在96GB/s，而最新型的单栈HBM3E带宽上限近1.2TB/s，在AI应用中，每个SoC的带宽需求都会超过几TB/s，上百倍的数据传输差距使得传统DRAM远不能满足AI训练所需的算力缺口。

（2）传输效能问题：由于分离距离问题，数据存算间（I/O）会有很大的延误，一步数据计算过后的大部分时间都在读取内存，查询所用的大量时间与吞吐量影响用户体验，数据传输能量消耗占总数据存算的60-90%，严重浪费效能。

（3）占用空间问题：传统GDDR由于是2D平面分布，占用空间大，无法满足目前消费电子轻量化与便携化的需求。

HBM包括多层DRAM芯片和一层基本逻辑芯片，不同DRAM以及逻辑芯片之间用TSV与微凸块技术实现通道连接，每个HBM芯片可与多达8条通道与外部连接，每个通道可单独访问1组DRAM阵列，通道间访存相互独立。逻辑芯片可以控制DRAM芯片，并提供与处理器芯片连接的接口，主要包括测试逻辑模块与物理层（PHY）接口模块，其中PHY接口通过中间介质层与处理器直接连通，直接存取（DA）端口提供HBM中多层DRAM芯片的测试通道。中间介质层通过微凸块连接到封装基板，从而形成SiP系统。

       HBM解决了传统GDDR遇到的“内存墙”问题，采用了存算一体的近存计算架构，通过中间介质层紧凑快速地连接信号处理器芯片，极大节省了数据传输的时间与耗能，HBM采用堆栈技术较传统GDDR节省较大空间占用。在应对未来云端AI的多用户，高吞吐，低延迟，高密度部署需求，计算单位剧增使I/O瓶颈愈加严重，使用GDDR解决代价成本越来越高，HBM使得带宽不再受制于芯片引脚的互连数量，在一定程度上解决了I/O瓶颈。综合来看，高带宽、低功耗、高效传输等性能使其成为高算力芯片的首选。

HBM是AI时代的必需品。HBM解决了传统GDDR遇到的“内存墙”问题，采用了存算一体的近存计算架构，通过中间介质层紧凑快速地连接信号处理器芯片，极大节省了数据传输的时间与耗能，HBM采用堆栈技术较传统GDDR节省较大空间占用。

在应对未来云端AI的多用户，高吞吐，低延迟，高密度部署需求，计算单位剧增使I/O瓶颈愈加严重，使用GDDR解决代价成本越来越高，HBM使得带宽不再受制于芯片引脚的互连数量，在一定程度上解决了I/O瓶颈。综合来看，高带宽、低功耗、高效传输等性能使其成为高算力芯片的首选。

免责声明：本账号专注于技术领域的交流与分享。所有可追溯的内容均已标注出处。若发布的文章涉及版权等相关问题，请及时通过留言与我们联系，以便进行删除处理。感谢您的理解与支持。