2024HotChips｜Meta下一代MTIA：专用于推荐推理的AI处理器

芝能智芯出品

在 2024 年 Hot Chips 大会上，Meta 展示了其下一代 MTIA（Meta Training and Inference Accelerator），一款专为推荐推理设计的人工智能处理器。

Meta 的 MTIA 代表着其对定制化硬件的持续投资，以应对日益增长的推荐引擎需求，这款新型加速器的技术架构、关键特性、应用场景及其对推荐推理的影响很大。

Meta 的推荐系统在增强用户体验、提升内容相关性和广告定向方面发挥着核心作用。

随着推荐系统规模的扩大和复杂度的增加，Meta 面临着使用传统 GPU 的多重挑战，包括成本、功耗、延迟和扩展性问题。

为了优化推荐引擎的性能和降低总体拥有成本（TCO），Meta 设计了专门的 MTIA 芯片，以高效处理多项服务。

Meta 的新一代 MTIA 采用了多项尖端技术，旨在优化推荐推理的效率和性能：

● 工艺与功耗：MTIA 使用台积电 5nm 工艺制造，具有 90W 的热设计功耗（TDP），显著降低了功耗需求，使其在数据中心中更易于管理。

同时，该处理器采用 16 通道 LPDDR5 内存，配备 128GB 的内存配置，为高效数据处理提供了强有力的支撑。

● RISC-V 架构与片上网络（NoC）：与常见的 Arm 架构不同，MTIA 使用了 RISC-V 作为控制核心，这种开放且灵活的架构允许 Meta 针对推荐推理进行深度定制。

此外，新一代的片上网络（NoC）相比前代产品速度更快，提升了数据传输效率。

● 动态量化引擎与硬件解压缩：MTIA 内置高精度整数动态量化引擎和硬件解压缩引擎，使得在处理大规模数据时减少存储和带宽的消耗，从而提升整体计算性能。

这些功能对推荐引擎至关重要，因为推荐系统常常需要处理大量复杂的数据表和权重。

● 加速模块与集群架构：每个加速模块包含两块 MTIA 芯片，单卡的总功耗为 220W，能够通过 PCIe Gen5 x8 接口进行数据传输。

每个机架可以容纳 72 个 MTIA 加速器模块，总功耗控制在 16kW 以下。这种模块化设计显著提升了推荐推理的扩展性和灵活性。

MTIA 处理器的主要应用场景是支持 Meta 内部的大规模推荐推理任务，包括社交媒体内容推荐、广告投放优化以及元宇宙交互中的个性化内容呈现。

相比于传统的 GPU 解决方案，MTIA 专为推荐推理进行了深度优化，能够更高效地处理推荐任务的特定计算模式。

● 性能提升与功耗优化：MTIA 的架构设计专注于降低延迟、提高吞吐量，并在推荐任务中实现更高的计算效率。

与前代产品相比，新 MTIA 提供了多倍的性能提升，同时保持相对较低的功耗和散热要求，使得其在大规模部署时更加经济高效。

● PCIe 共享内存与系统整合：Meta 采用了 PCIe 上的共享内存机制，这种设计不仅简化了数据传输流程，还为推荐推理任务提供了更加灵活的数据访问方式。

这种架构在高并发计算任务中能够显著提升系统响应速度和处理效率。

Meta MTIA 的发布展示了其在定制化硬件上的领先地位，并且代表了未来 AI 加速器的一个重要方向，即针对特定应用场景深度优化。

随着推荐系统在各大互联网公司中的广泛应用，MTIA 的成功经验可能会引发其他科技巨头在 AI 加速器领域的进一步创新。

● 与 RISC-V 的结合：MTIA 采用 RISC-V 架构，这不仅增强了处理器的灵活性，也降低了对专有架构的依赖，推动了开源硬件生态的发展。这种趋势有可能在未来进一步改变 AI 加速器市场的竞争格局。

● 扩展挑战与能源管理：虽然 MTIA 通过创新架构实现了显著的性能提升，但大规模 AI 集群仍然面临扩展和能源管理的挑战。随着推荐系统的需求持续增长，如何优化能效、降低集群的运营成本，将成为未来发展的关键课题。

Meta 的下一代 MTIA 通过在硬件层面对推荐推理任务的深度优化，为提升推荐系统的性能和降低运营成本提供了新思路。其创新的架构设计和对 RISC-V 的采用，显示了 Meta 在定制化 AI 加速器领域的前瞻性。