AI面临的关键挑战：功率、内存、互连和可扩展性

一个充满人工智能的世界正在迅速崛起，改变着各个行业和日常生活。从先进的太空探索和智能城市到个性化医疗保健和精准农业，人工智能正在彻底改变我们与技术的互动方式。它推动教育、能源效率和自动驾驶领域的突破，展现出其应对全球挑战的潜力。

随着人工智能无缝融入各个领域，未来有望增强创新、生产力和连通性，塑造一个更智能、更可持续的世界。

根据 2014 年以来人工智能相关电力需求的快速增长，这得益于人工智能系统的广泛部署。这一激增主要由人工智能训练和推理任务中 GPU 的使用率推动。预测表明，到 2030 年，人工智能系统可能消耗美国总电力的 16%——这是一个惊人的估计。短短两年内，人工智能的电力需求预计将增加 5 倍。尽管 GPU 的每瓦性能正在取得进步，但这些进步不足以抵消人工智能系统规模扩大造成的能源消耗增长。

这些 GPU 显著提高了训练计算能力（以 PFLOPS 为单位），以满足 AI 工作负载（包括图像处理和大型语言模型）的需求。性能的大幅提升（尤其是在 2027 年至 2028 年之间）与 2nm 及以下先进节点的量产相吻合。更高的内存带宽和更大规模的异构集成支持了这一增长，从而确保了更高的计算能力能够满足 AI 不断增长的需求。

有趣的是，虽然目前大部分功耗都集中在 AI 训练上，但推理任务预计将大幅增长，因为大型语言模型 (LLM) 需要大量能量进行处理。管理这种指数级需求将需要在能源效率和硬件优化方面进行重大创新。模块化架构、改进的互连和节能的 AI 芯片将至关重要，同时采用可再生能源并优化数据中心的电力使用以减轻环境影响。随着 AI 驱动的工作负载越来越多地将重点从训练转移到推理，进一步增加电力需求、平衡性能和可持续性对于确保 AI 技术的可扩展性和长期可行性至关重要。

另一个关键问题是内存。虽然内存容量每两年翻一番，但 LLM 却以前所未有的速度扩张，网络规模每两年增长 410 倍。这导致内存容量和带宽的双重短缺。

SK Hynix 表示，其已售出 2025 年配额的大部分高带宽内存芯片，AI 热潮仍在持续。

虽然存储级内存 (SCM) 可以解决容量问题，但这些内存的速度太慢，无法跟上计算速度，从而导致瓶颈。因此，内存容量和带宽必须同时提高。

HBM 和先进封装引领潮流。

互连限制在推动 AI 芯片走向先进封装方面起着至关重要的作用，因为传统的互连技术无法满足 AI 工作负载日益增长的需求。

引线键合主要用于较旧的技术，随着时间的推移其尺寸逐渐减小。

CSP（芯片级封装）和 FBGA（细间距球栅阵列）是用于较小节点的现代封装方法，特别适用于移动和消费应用。

FCBGA（倒装芯片球栅阵列）和 TSV（硅通孔）代表更先进的封装，集成了多芯片堆栈，通常用于高性能应用。

C2W 键合（芯片到晶圆）、W2W 键合（晶圆到晶圆）和微凸块 TSV 代表较新的封装方法，专注于 3D 集成和更小的节点尺寸，提供增强的互连性和性能。

AI 芯片需要极高的数据传输速率和低延迟来处理大量数据，尤其是在 LLM 等大型模型的训练和推理任务中。然而，传统的互连面临着以下挑战：

带宽瓶颈：传统互连难以为高性能 AI 系统提供足够的带宽，导致处理单元之间的数据移动延迟和效率低下。

能源效率：随着互连规模的扩大，能耗显著增加，如果没有先进的节能解决方案，使用传统方法扩展系统是不切实际的。

集成挑战：现代 AI 系统通常需要多个芯片或模块无缝协作，这需要比传统互连更紧密的集成。

扩展限制：随着 AI 模型规模的扩大，对紧凑、高密度互连的需求变得至关重要，以集成芯片和内存组件。

芯片集成、3D 堆叠和硅通孔 (TSV) 等先进封装技术通过实现更高的带宽、更低的延迟和更好的功率效率来解决这些限制。这些创新使 AI 芯片能够有效扩展，同时满足下一代工作负载的需求

UCIe（通用芯片互连规范）是一个行业联盟，致力于开发和推广芯片互连的标准化规范。其目标是实现来自不同供应商的芯片之间的无缝通信，促进半导体设计的互操作性和模块化。通过建立通用标准，UCIe 旨在提高先进半导体系统的可扩展性、效率和灵活性，促进 AI、HPC 和数据中心等领域的创新。

英特尔、AMD、台积电、ARM、ASE等半导体行业的主要公司都参与了这一计划。

UCIe 的未来在于它能够将业界领先的 KPI 扩展到 UCIe-3D，从而实现芯片互连技术的重大进步。从 UCIe-S (2D) 和 UCIe-A (2.5D) 到 UCIe-3D 的演进突出了数据速率、功率效率和带宽密度等关键指标的改进。