2022 年 1 月，JEDEC 发布了新标准 JESD238“高带宽内存 (HBM3) DRAM”。与之前已有的 HBM2E 标准 (JESD235D) 相比，HBM3 标准提出了多项增强功能，包括支持更大的密度、更高速运算、更高的 Bank 数、更高的可靠性、可用性、可维护性 (RAS) 功能、低功耗接口和新的时钟架构。HBM3 存储器很快就被用于 HPC 应用，例如 AI、图形、网络，甚至可能用于汽车。
HBM全称为High Bandwidth Memory，翻译即是高带宽内存，他是一款新型的CPU/GPU内存芯片。其实就是将很多个DDR芯片堆叠在一起后和GPU封装在一起，实现大容量、高位宽的DDR组合阵列。
简单的类比，就是传统的DDR就是采用的"平房设计"方式，HBM则是"楼房设计"方式，从而可实现了更高的性能和带宽。
为什么需要HBM?
HBM 有两个好处：高带宽、占地少。
HBM堆栈通过中介层紧凑而快速地连接，HBM具备的特性几乎和芯片集成的RAM一样，可实现更多的IO数量。同时HBM重新调整了内存的功耗效率，使每瓦带宽比GDDR5高出3倍还多。也即是功耗降低3倍多！另外，HBM 在节省产品空间方面也独具匠心，HBM比GDDR5节省了 94% 的表面积！使游戏玩家可以摆脱笨重的GDDR5芯片，尽享高效。
HBM每一次更新迭代都会伴随着处理速度的提高。引脚（Pin）数据传输速率为1Gbps的第一代HBM，发展到其第五产品HBM3E，速率则提高到了8Gbps，即每秒可以处理1.225TB的数据。也就是说，下载一部长达163分钟的全高清（Full-HD）电影（1TB）只需不到1秒钟的时间。
图 1：HBM3 与 HBM2E 相比具有多项改进，包括更高的容量、更先进的 RAS 功能和更低的功耗
当然，存储器的容量也在不断加大：HBM2E的最大容量为16GB，目前，三星正在利用其第四代基于EUV光刻机的10nm制程（14nm）节点来制造24GB容量的HBM3芯片，此外8层、12层堆叠可在HBM3E上实现36GB（业界最大）的容量，比HBM3高出50%。
此前SK海力士、美光均已宣布推出HBM3E芯片，皆可实现超过1TB/s的带宽。
Growth in Data Traffic Continues to Stress Infrastructure
Neural Network Training and Inference: Definitions
AI/ML Driving New Architectures
Advances in computing have pushed bottleneck to memory
Common Memory Systems
JEDEC HBM3 Spec Refresher: 6.4 Gbps
HBM Performance Evolution
HBM Advantages For AI Training/HPC Applications
AI Training Solution: Enflame Accelerator Cards
HBM3 Controller
总结
HBM3 标准提供了优于 HBM2E 标准的多项改进。有些是预期的改进 - 更大、更快和功耗更低的器件。有些是意想不到的 – 信道架构变更、RAS 改进和更新的时钟方法。新标准累计为用户提供显着改善的 HBM 存储器，用于下一代 SoC。
