本文来自“《AI时代的网络：网络定义数据中心》”，在网络设计方面，避免常见的误解至关重要。一个普遍的误解是，改变端到端链AI 部署来说可能是可以接受的，但在现实中，这可能会导致时延增加和性能损失。在为 AI构建网络时，其他误解包括：新兴 AI 的持续发展、交换机基数是否关键、浅层和深度缓冲区架构、网络弹性技术。
底层网络最终定义了数据中心的运营级别以及预期的性能和效率水平；因此，必须消除这些误解，并采用性能均衡、具备安全性和灵活性的整体方法，以符合数据中心的使命，无论是 AI 云还是 AI 工厂。
《HotChips 2024大会技术合集（1）》
《HotChips 2024大会技术合集（2）》
《HotChips 2024大会技术合集（3）》
《HotChips 2024大会技术合集（4）》
《HotChips 2024大会技术合集（5）》
《HotChips 2024大会技术合集（6）》
《HotChips 2024大会技术合集（7）》
《HotChips 2024大会技术合集（8）》
机器人专题研究：产业发展概览（2024）
新兴AI的持续发展
InfiniBand 满足了 GPU 加速器、服务器、存储系统和其他组件之间对更快、更高效的可扩展通信的日益增长的需求。InfiniBand 的架构允许引入新的特性和功能，而无需对技术进行彻底的改造。这种适应性使得出现新技术和技能成为可能，使其非常适合应对未来技术格局的挑战和要求。
直通式交换和端到端链路速度
以太网采用两种数据处理模式：存储转发交换和直通式交换。存储转发交换机在发送数据之前会等待接收整个数据帧，而直通式交换机会立即将数据发送到目的地。对于 AI 工作负载，首选直通式交换。
直通式交换需要相同的端到端链路速度。改变链路速度（例如从主机到叶交换机x 100Gb/s，到从叶交换机到脊交换机的 400Gb/s）的网络设计需要流量拆分和存储转发交换。这会带来时延损失，在处理AI训练中常见的大型数据帧时，时延损失变得更加严重。Spectrum-X 使用端到端直通连接来优化 AI 网络。
交换基数和AI 可扩展性
交换机基数，即交换机可以支持的逻辑 MAC 数量，传统上一直被用作交换机可扩展性的代表。对于给定数量的网络层次，交换机基数越大可以连接更多主机。
随着 AI的发展，这种范式已经发生了改变。有效带宽、时延和尾部延迟对于性能至关重要，而数量的 与基数无关。较高基数的交换机可以将在相同数量的网络层次中连接更多GPU，从而降低网络价格，但其代价是应用程序性能降低和投资回报率降低。
交换缓冲区架构
虽然InfiniBand交换机在设计上是“浅层”缓冲交换机，但以太网交换机可以大致 分为“深度”或“浅层”缓冲交换机。深度缓冲交换机的缓冲区大小以GB为单位，而浅层 缓冲交换机(例如Spectrum以太网交换机)的缓冲区大小以MB为单位。深度缓冲 交换机最初是为不同的目的而设计，例如路由和WAN;因此，它们的架构与传统的浅 层缓冲区以太网交换机非常不同。深度缓冲区交换机系统通常采用模块化设计，具有 更大的机箱交换机，并安装了线卡。
虽然深度缓冲区交换机功能丰富，并且支持数据中心互连(DCl)和电信网络所 需的规模，但并未针对AI网络进行优化。深度缓冲区交换机可容纳额外的数据流量， 并对微突发不太敏感，但较大的数据容量会导致更高的尾部延迟，从而导致平均时延 增加和高抖动。这直接影响到依赖于最差时延的AI工作负载，从而延长作业完成时 间，并增加训练时间。
对网络链路故障的恢复
NVIDIA Quantum InfiniBand交换机具有独特的自我修复功能。得益于这种自我 修复自主性，在链路发生故障时，可以快速进行通信校正，从而节省由于链路故障而 导致昂贵的数据重传的通信成本。
与通常在以太网上运行的传统应用程序工作负载不同，AI会生成异构流量，这种 流量具有突发性，并且对网络故障高度敏感。例如，当从叶交换机到脊交换机的链路 发生故障时，这会影响多个机架中的多个GPU节点，并显著降低All-to-All的性能。流行的基于以太网的冗余措施(例如EVPN Multihoming或MLAG)无法解决性能问 题。
Spectrum-X为需要双轨/多轨主机设计(即用于实现完整硬件冗余的额外网卡端 口)和交换机智能(根据链路故障检测调整负载均衡)的AI工作负载提供出色的恢复 能力。Spectrum-X提供最佳环境，以满足对时延敏感场景的需求。
Al云管理
为数千用户提供服务的AI云数据中心需要依赖定制的云管理平台(CMP)来管 理和自动化云基础设施，以确保高效的运营、监控、安全和资源分配。虽然该管理和 配置生态系统通常是基于原生以太网的，但也可以与InfiniBand一起开发和集成，同 样部署在AI工厂。
部署AI云不一定需要重新投资生态系统来进行资源调配、工作负载编排和用户访 问控制。大部分情况下，重用支持虚拟化管理、跨云基础设施编排容器和服务，以及 监控资源运行状况和性能等的生态系统通常很实用。在为以AI作为数据中心基石的情 况下而选择网络类型时，通常会考虑这种方法。
结论
AI工作负载为数据中心网络架构带来了新的挑战和要求。网络定义了数据中 心，并承担了AI基础设施的支柱功能。在为生成式AI和基础模型部署数据中心 时，必须考虑网络的能力和端到端的实现。
《HotChips 2024大会技术合集（1）》
《HotChips 2024大会技术合集（2）》
《HotChips 2024大会技术合集（3）》
《HotChips 2024大会技术合集（4）》
《HotChips 2024大会技术合集（5）》
《HotChips 2024大会技术合集（6）》
《HotChips 2024大会技术合集（7）》
《HotChips 2024大会技术合集（8）》
《算力网络：光网络技术合集（1）》
1、面向算力网络的新型全光网技术发展及关键器件探讨
2、面向算力网络的光网络智能化架构与技术白皮书
3、2023开放光网络系统验证测试规范
4、面向通感算一体化光网络的光纤传感技术白皮书
《算力网络：光网络技术合集（2）》
1、数据中心互联开放光传输系统设计
2、确定性光传输支撑广域长距算力互联
3、面向时隙光交换网络的纳秒级时间同步技术
4、数据中心光互联模块发展趋势及新技术研究
面向超万卡集群的新型智算技术白皮书
面向AI大模型的智算中心网络演进白皮书
本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
温馨提示：
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。
