这项技术被认为有可能彻底改变人工智能（AI）处理的未来，通过在单个芯片中结合数据存储和处理功能，旨在消除长期存在的数据总线瓶颈，取代当前的高带宽内存 (HBM) 芯片。
在7月19日于美国加州圣克拉拉举行的FMS 2024（内存和存储的未来）会议上，NEO半导体公司，一家在3D DRAM和3D NAND存储器领域具有专业能力的半导体企业发布了一项具有革命性的技术——3D X-AI芯片。
这项技术被认为有可能彻底改变人工智能（AI）处理的未来，通过在单个芯片中结合数据存储和处理功能，旨在消除长期存在的数据总线瓶颈，取代当前的高带宽内存 (HBM) 芯片。
技术亮点
传统的AI芯片架构通常结合HBM和GPU来存储和处理数据，数据存储在HBM中，所有计算都在GPU中执行。但这种架构受限于HBM和GPU之间的数据传输瓶颈，导致性能下降和功耗增加。NEO半导体创始人兼首席执行官Andy Hsu指出了这个问题：“当前的AI芯片由于架构和技术效率低下，浪费了大量性能和功耗。”
与传统架构相比，3D X-AI技术通过在3D DRAM内部实现数据处理，可显著减少HBM与GPU之间传输的数据量，从而提升效能并大幅降低功耗和热量产生。
3D X-AI芯片技术的核心创新在于其神经元电路层，能够模拟人工神经网络，包括用于权重数据存储的突触和用于数据处理的神经元，使得它在加速下一代AI芯片和应用方面展现出巨大潜力。
单个3D X-AI芯片包含300层3D DRAM，每层容量为128Gb，以及一层包含8000个神经元的神经网络电路，支持高达10TB/s的AI处理吞吐量。使用12个堆叠HBM封装的3D X-AI芯片，仅需一个3D X-AI芯片就能将容量和处理吞吐量提升至192GB和120TB/s，相当于提升了12倍。
NEO半导体的3D X-DRAM技术采用了垂直层叠式存储器，相比传统的平放DRAM，单位面积的存储容量和工作效率大幅提升，成为下一代DRAM技术的重要趋势。3D X-DRAM的模块阵列结构类似3D NAND Flash，通过FBC技术实现了垂直结构，具备高良率、低成本和显著提高的密度。
3D X-DRAM的单元阵列结构类似于3D NAND Flash，采用了FBC（无电容器浮体单元）技术，它可以通过添加层掩模形成垂直结构，从而实现高良率、低成本和显著的密度提升。NEO表示， 3D X-DRAM 技术可以生产230层的128Gbit DRAM 芯片，是当前 DRAM 密度的八倍。
还有挑战，但充满信心
据NEO半导体宣称，这项技术能够实现AI处理性能提升100倍，同时将数据总线产生的功耗和热量降低99%。
Network Storage Advisors 总裁 Jay Kramer 表示，这一技术的应用将加速新AI用例的开发并促进创新，特别是在自然语言处理、计算机视觉和自动驾驶等领域。此外，3D X-AI芯片的高密度使其特别适用于大型语言模型（LLM）的存储，如ChatGPT、Gemini和CoPilot等生成式AI应用。
近年来，SK海力士、三星电子、美光等存储厂商都在进行3D DRAM技术的研发，以期满足于AI浪潮下对高性能、大容量内存的需求。
行业分析师和专家们对3D X-AI技术的评价普遍积极，认为这可能标志着高性能计算领域的一次重大突破。然而，该技术在实际应用中仍面临挑战，包括制造工艺的复杂性、与现有AI软件和框架的兼容性问题，以及确保技术的安全性和隐私保护。
NEO半导体对3D X-AI技术充满信心，并表示愿意继续与行业伙伴保持沟通，友好妥善地解决所存在的争议。Andy Hsu强调，尽管半导体速度越来越快，但元件之间的数据总线已成为瓶颈，3D X-AI技术通过将部分AI处理从GPU转移到HBM，能够显著降低工作量，提高效率。
您可能感兴趣
