Meta的AI硬件愿景：让计算架构更加开放

原创汽车电子设计 2024-10-25 08:18 445浏览 0评论 0点赞

汽车照明的秘密武器，竟然是…… 3D IC设计卡在哪儿？5场研讨会揭秘3DIC全攻略

芝能智芯出品

在2024年开放计算项目（OCP）全球峰会上，Meta推出了其最新的开放式AI硬件设计，展示了推动AI计算架构开放化的坚定决心。

Meta不仅致力于技术进步，还希望通过开放的硬件设计，推动全球AI基础设施的发展，设立全新标准。

Meta通过一系列创新硬件来实现的，包括为AI工作负载量身打造的高性能计算平台、尖端的开放式机架设计，以及专门为优化AI模型性能而开发的网络架构，提升AI的计算能力，还会为整个行业提供开放、灵活的基础设施，促进更多的技术合作与创新。

Part 1

Meta的开放式AI硬件设计：

Llama 3.1的突破

Meta的Llama 3.1模型展现了其在AI模型规模和技术上的重大突破。

Llama 3.1作为一个拥有4050亿个参数、支持128k token上下文窗口的密集转换器模型，对硬件提出了前所未有的计算需求。

为满足如此庞大的计算需求，Meta部署了超过16,000个NVIDIA H100 GPU，这标志着Meta在AI集群训练中的资源调度达到了新的高度。

Meta在一年内迅速扩展训练集群的规模，从最初的1K GPU一路攀升至如今的16K GPU，标志着AI计算能力的飞跃。

相较于以前依赖128个NVIDIA A100 GPU的小规模AI任务，这种大规模集群扩展不仅提高了计算能力，还为未来的AI硬件发展奠定了坚实基础。

● 网络架构的核心作用：高效无阻塞网络

在构建大型AI集群时，网络架构和带宽是决定计算效率的关键因素。

Meta采用了高性能计算(HPC)系统与高带宽网络相结合的方式，确保GPU和加速器之间的通信高速且稳定。未来几年，Meta预计每个加速器的注入带宽将达到每秒1TB，标准化的二分带宽也将与之匹配。

这一增长远超现有网络能力，预示着AI计算的飞速发展。Meta研发了多层次无阻塞网络结构，该结构在重负载下通过拥塞控制，确保网络的可预测性和稳定性。

无论面对多么复杂的AI任务，Meta的新网络架构都将为AI集群提供持续的高效性能。

● Catalina机架：AI基础设施的开放架构

Meta在开放计算项目中推出的Catalina机架，Catalina基于NVIDIA Blackwell平台设计，专为AI工作负载打造，具备模块化和灵活性的特点。

它还支持NVIDIA GB200 Grace Blackwell超级芯片，能够满足AI任务不断增长的计算需求。

Catalina解决了AI集群中GPU功耗不断增加的难题。其Orv3高功率机架(HPR)设计，能够支持高达140kW的功率需求，通过开放硬件设计，更多合作伙伴可以基于Catalina定制和部署AI解决方案。

● Grand Teton平台：支持多加速器的开放平台

Meta的Grand Teton平台自发布以来，成为AI基础设施的重要组成部分。

Grand Teton平台最初是为大规模推荐模型等内存带宽受限任务设计的，如今Meta进一步扩展了其支持范围，新增了对AMD Instinct MI300X加速器的支持。

AMD Instinct MI300X的加入，为Meta的AI任务带来了更高的计算能力与内存带宽支持。

通过高度集成的单片系统设计，新一代Grand Teton平台不仅显著提升了内存容量，还扩展了网络带宽，使其能够有效应对更大规模的AI模型训练与推理任务。

Part 2

AMD Instinct MI300X

AMD Instinct MI300X在AI硬件领域的表现尤为亮眼。作为全球首款集成式APU（加速处理单元），MI300X将CPU和GPU通过高级封装技术融合在同一芯片上。

这种异构架构能够极大地缩短数据在计算单元之间的传输延迟，并提升性能密度，尤其适用于大规模并行计算的AI推理工作负载。

MI300X配备了128GB的高带宽内存(HBM3)，为复杂的深度学习模型提供了充裕的内存支持。

这一内存容量和带宽的大幅提升，有效解决了深度学习训练和推理过程中的内存瓶颈问题。

AI集群的规模扩展对网络架构提出了新的挑战。Meta推出了分解式调度结构(DSF)，在应对大规模加速器协作中显示出了巨大优势。

通过开放式网络架构，Meta能够灵活应对供应链、扩展性和功率密度等问题。

DSF支持基于以太网的RoCE接口，能够连接多家供应商的加速器和网络端点，包括NVIDIA、Broadcom和AMD等。

通过这种开放式网络设计，Meta不仅提高了系统的灵活性，还为多供应商合作提供了更多机会，推动了AI基础设施的开放化发展。

Meta与微软的长期合作，为开放式AI硬件的创新提供了重要支持。

两家公司在交换机抽象接口(SAI)、OAM标准等多个关键项目上紧密合作，并联合开发了Mount Diablo分解式电源机架。通过这种跨公司合作，Meta与微软展示了开放创新的强大力量，共同推动了AI硬件的技术前沿。

Meta的AI硬件愿景不仅是技术的进步，更是对全球AI社区开放合作的承诺。通过共享先进的硬件设计和推动标准化，Meta希望促进全球开发者和企业的参与，进一步推动AI技术的普及化与发展。

未来，Meta将继续投资于开放式硬件，推动AI技术的进步，并为全世界带来更多AI的创新与机遇。

小结

2024年开放计算项目上展示其前沿的开放式AI硬件愿景，从高性能的Catalina机架到支持多加速器的Grand Teton平台，Meta通过一系列硬件创新与开放设计，推动了AI基础设施的发展。

登录阅读全文



免责声明：该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系： nick.zong@aspencore.com！

汽车电子设计本公众号是博主和汽车电子的行业的工程师们一起交流、探讨、思考的小结，以作为技术交流和沟通的桥梁

进入专栏

汽车电子设计本公众号是博主和汽车电子的行业的工程师们一起交流、探讨、思考的小结，以作为技术交流和沟通的桥梁

文章：4214篇粉丝：84人

关注  私信

Meta的AI硬件愿景：让计算架构更加开放

Part 1

Part 2

最近文章

热门文章

推荐

最新资讯