随着 AI 工作负载的不断发展和扩大,内存带宽和容量对系统性能越来越重要。各大存储原厂也在不断开发更高性能的高带宽内存 (HBM)。
3月25日,美光科技宣布,其用于英伟达GB300 Grace Blackwell Ultra超级芯片的SOCAMM内存模组以及针对HGX B300 NVL16及GB300 NVL72平台打造的HBM3E 12H 36GB和HBM3E 8H 24GB产品已量产出货。
SOCAMM是一种模块化LPDDR5X存储解决方案,具有比传统RDIMM更高的带宽、更低的功耗和更小的尺寸,适用于数据中心和AI计算场景,具有以下特点:

1.高带宽:SOCAMM在相同容量下提供比传统RDIMM高出2.5倍的带宽,这使得它能够更快地访问更大的训练数据集和更复杂的模型,同时提高推理工作负载的吞吐量。
2.低功耗:SOCAMM的功耗仅为标准DDR5 RDIMM的三分之一,显著优化了AI架构中的能效性能曲线。
3.小尺寸:SOCAMM的尺寸仅为传统RDIMM的三分之一,具体为14x90毫米,这使其更适合紧凑、高效的服务器设计。
4.高容量:SOCAMM采用四颗16Gb芯片堆叠的设计,单模块容量可达128GB,并支持128-bit位宽和8533MT/s速率。
5.可扩展性和可维护性:SOCAMM采用可拆卸设计,便于用户更换和升级内存模块,从而延长设备使用寿命并提升灵活性。
6.适用于AI计算场景:SOCAMM通过其高带宽、低功耗和小尺寸的特点,特别适合用于数据中心和AI计算场景,如英伟达的GB300 Grace Blackwell Ultra超级芯片。
7.其他优势:SOCAMM还具备纠错功能(ECC),支持液冷服务器设计,并通过高I/O端口数量(694个)缓解数据瓶颈问题。
而美光科技的HBM3E 12H 36GB产品相较于其竞争对手HBM3E 8H 24GB产品,在相同外形规格下确实提供了更高的存储容量和更低的功耗。在相同外形规格下,美光HBM3E 12H 36GB比HBM3E 8H 24GB提供了更高的存储容量,高出50%,且功耗降低了20%。
美光HBM3E 12H 36 GB提供超过1.2 TB/s的内存带宽,引脚速度超过9.2 Gb/s。美光HBM3E的这些综合优势以最低功耗提供最大吞吐量,可确保耗电数据中心获得最佳结果。此外,美光HBM3E 12H 36 GB采用完全可编程的MBIST,可以全速运行系统代表流量,提供更好的测试覆盖率以加快验证速度,缩短上市时间并提高系统可靠性。
以上产品的推出,标志着美光科技在全球HBM3E和SOCAMM市场取得进一步突破,并进一步巩固了其与英伟达的合作关系。
