·聚焦:人工智能、芯片等行业
欢迎各位客官关注、转发
在AI领域，尤其是在训练和推理大型模型时，内存扮演着至关重要的角色。
训练过程中，数据需要在计算芯片与内存之间频繁传输，而当前大型AI模型的参数规模已达到数百亿甚至数万亿级别，这导致了对大量内存的需求。
例如，DeepSeek R1（671B版本）的全量模型文件大小达到720GB，需要超过512GB的DDR4内存支持。
随着内存需求的不断增长，如何在有限的设备体积和成本内容纳更高容量的内存，已成为一个挑战。
同时，服务器的内存消耗占据了相当大的功耗比例。
在配备每插槽TB级DDR5内存的服务器中，DRAM的功耗甚至超过了CPU。
为了应对这一挑战，英伟达设计了基于LPDDR5X内存的Grace CPU，其功耗低于DDR5，同时通过借鉴AMD和英特尔数据中心级处理器的宽内存总线设计，实现了高内存带宽。
但迄今为止，LPDDR DRAM主要采用[板载（On-Board）]方式，直接焊接在设备主板上，而非模块化设计。
而板载方式的缺点在于一是成本高昂，更换时必须整块主板一起更换。二是缺乏灵活性，不支持升级，更换难度大。
然而，对于基于GB200 Grace Blackwell的系统，英伟达不得不采用焊接式的LPDDR5X内存封装，因为缺乏能够满足其容量需求的标准LPDDR5X内存模块。
据韩国媒体SEDaily报道，英伟达与存储器制造商SK海力士、美光和三星合作，共同打造了一种体积小但效能高的新存储器标准，名为[SOCAMM]。
SOCAMM，全称为Small Outline Compression Attached Memory Module，即小型化压缩附加内存模组。
目前的SOCAMM模组基于LPDDR5X DRAM芯片。与先前的LPCAMM2模组相似，SOCAMM同样采用单面四芯片焊盘、三固定螺丝孔的设计。
然而，与LPCAMM2不同的是，SOCAMM的顶部没有凸出的梯形结构，这降低了其整体高度，使其更适合服务器安装环境和液体冷却系统。
SOCAMM是一种由低功耗DRAM（LPDDR DRAM）制成的存储模块。
其尺寸仅为行业标准DDR5 RDIMM的约1/3，而得益于高速的LPDDR5X和更宽的位宽，SOCAMM在相同容量下带宽可达到2.5倍，功耗仅为传统方案的1/3。
英伟达首席执行官黄仁勋在CES 2025上发布了AI PC [Digits]，下一代Digits可能会采用SOCAMM，使其进入AI PC领域。
这也表明，SOCAMM可能成为横跨数据中心和AI PC的存储器，具备比HBM更广泛的应用场景。
需要指出的是，SOCAMM与HBM二者并非直接竞争关系，而是互补存在，SoCAMM解决灵活性问题，而HBM通过与GPU的先进封装集成解决极致性能需求。
尽管SOCAMM在速度上不及HBM，但它具备更强的扩展性和灵活性，预计将在英伟达未来的Rubin和Feynman GPU服务器中继续采用。
存储巨头们正在推进SOCAMM模块亮相
在英伟达的GB200服务器中，Grace CPU两侧各配备16颗低功耗双倍数据速率动态随机存取存储器（LPDDR DRAM），这些DRAM此前是直接板载焊接的。
但在下一代GB300服务器中，英伟达采用了SOCAMM设计，采用4颗LPDDR组成的SOCAMM模块，共4组。
美光近日表示，SOCAMM解决方案已实现量产，通过使用4颗16-die堆叠的16Gb LPDDR5X颗粒，实现了128GB容量；
结合128-bit位宽和8533MT/s速率，为更快的AI模型训练和更高的推理并发用户量提供了关键支持。
作为率先宣布量产SOCAMM的美光，在3月20日的财报会上表示：[我们是第一家与英伟达合作，并率先大规模生产SOCAMM的企业。]
该内存条将被应用于英伟达GB300 Grace Blackwell Ultra超级芯片，并预期将作为Grace CPU的可更换内存使用。
SK海力士也在英伟达GTC大会上展示了SOCAMM，并在新闻稿中表示，[SOCAMM已成为AI服务器存储器的新标准，SK海力士将通过该产品展示AI存储器技术的领先地位。]
其SOCAMM的核心参数：单模块容量128GB，由容量为32GB的4颗芯片组成；
采用16颗16Gb LPDDR5X记忆体芯片封装，并采用线键合（Wire Bonding）工艺，而非HBM所使用的TSV（硅通孔）工艺。
数据传输带宽为120GB/s，尽管比传统服务器DRAM快2.5倍，但仍远低于HBM3E的1.2TB/s。
三星也不甘落后，其采用LPDDR5X DRAM的可拆卸模块功耗仅9.2W，比DDR5 RDIMM服务器模块节能45%以上。
有传言称，英伟达可能将50%的SOCAMM订单交给美光，剩下的由三星和SK海力士平分。
其中，三星电子率先开发的LPCAMM可将内存占用面积减少60%以上，提高PC或笔记本的内部组件设计自由度，为增加电池容量等腾出更多空间，使内部布局更加高效。
EBN的报告指出，英伟达与内存制造商正在交换SOCAMM原型进行测试，并预计在2025年底开始大规模生产。
在CES 2025上，英伟达推出了GB10 Grace Blackwell超级芯片和Project DIGITS，旨在普及个人AI超级计算机。
SOCAMM的出现将在整个行业产生连锁反应
据EBN称，SOCAMM被视为[下一代]HBM，在小型PC和笔记本电脑中具有优于传统DRAM的性能和能效，这可能是关键所在。
预计SOCAMM的出现将在整个半导体行业产生连锁反应，影响到三星电子、SK海力士等内存厂商，以及Simmtech和TLB等基板公司。
目前，SOCAMM内存技术适用于需要高性能内存支持的场景，如AI计算、高性能计算、数据中心等。
由于其可拆卸升级的特点，SOCAMM内存技术还适用于需要频繁更新硬件设备的领域，如游戏、图形设计、虚拟现实等。
随着AI、大数据、云计算等技术的快速发展，对高性能内存的需求日益增加。
SOCAMM以其卓越的性能和能效比，正好满足了这些领域对内存的高要求。
因此，SOCAMM的市场需求将持续增长，特别是在B2B服务器市场和快速发展的终端设备AI领域。
尽管SOCAMM的发展前景广阔，但仍面临一些挑战。
例如，随着半导体行业的快速发展，市场上存在多种不同的内存技术和标准。
SOCAMM作为新一代内存技术，需要与其他硬件和软件系统保持良好的兼容性，以确保其能够顺利应用于各种设备和场景中。
然而，市场碎片化可能导致不同技术标准之间的兼容性挑战，增加了SOCAMM推广和应用的难度。
此外，内存技术的标准化是推动其广泛应用的关键。
SOCAMM需要经历一个标准化的过程，以确保不同厂商生产的SOCAMM模块之间能够互换使用，降低用户的更换和升级成本。
然而，标准化进程可能需要时间和多方协商，这可能对SOCAMM的推广速度产生影响。
与此同时，随着内存技术的不断发展，市场上涌现出多种新型内存技术，如DDR5、GDDR6等。
这些技术各具优势，与SOCAMM形成了一定的竞争关系。
在激烈的市场竞争中，SOCAMM需要不断提升其性能、降低成本并拓展应用场景，以保持竞争优势。
SOCAMM的生产涉及多个环节和供应链节点，包括原材料供应、生产制造、封装测试等。
任何环节的供应链中断或不稳定都可能对SOCAMM的生产和供应产生影响，进而威胁到其市场应用前景。
结尾：
目前SOCAMM尚未大规模应用，但前期部署工作已经启动。
随着AI产业的快速发展，AI设备逐步渗透至日常生活，SOCAMM、LPCAMM、LLW等技术有望成为下一代主流内存方案。
AI计算对内存的要求可归纳为：高带宽、大容量、低延迟、高能效。
传统DRAM技术已接近物理极限，而HBM、SOCAMM等新型内存技术通过3D集成和接口优化，正逐步成为AI硬件的核心。
部分资料参考：印科技：《三大存储巨头围攻[第二增长曲线]》，电子发烧友网：《英伟达力推SOCAMM内存量产：可插拔、带宽比肩HBM》，AI FPGA 之恋：《英伟达 新标准 SOCAMM 另辟蹊径，解锁 AI PC 内存自由》
本公众号所刊发稿件及图片来源于网络，仅用于交流使用，如有侵权请联系回复，我们收到信息后会在24小时内处理。
推荐阅读：
商务合作请加微信勾搭：
18948782064
请务必注明：
「姓名 + 公司 + 合作需求」
