本文来自“光模块专题：AI驱动网络变革，光摩尔定律加速”。传统数据中心经历了从三层架构到叶脊架构的改变，主要是为了适配数据中心东西向流量的增长。随着数据上云的进程持续加速，云计算数据中心规模持续扩大，而其中所采用的的虚拟化、超融合系统等应用推动数据中心东西向流量大幅增长——根据思科此前的数据，2021年数据中心相关的流量中，数据中心内部的流量占比超过70%。《半导体行业深度报告合集（2024）》
1、半导体行业报告（一）：入空驭气奔如电，电子气体国产进程有望加速 2、半导体行业报告（二）：存储市场柳暗花明，国产化替代未艾方兴 3、半导体行业报告（三）：新能源打开IGBT天花板，新产能蓄力国产新台阶4、半导体行业报告（四）：MCU汽车+工控+新消费IoT5、半导体行业报告（五）：先进工艺带来CMP抛光材料新增长空间 6、半导体行业报告（七）：5G助推射频前段高速发展，国内升级扶摇直上 7、半导体行业报告（八）：存储市场复苏在即，模组厂商曙光再现8、半导体行业报告（九）：模拟芯片稳中维良，拓新域国内厂商辟土开疆9、半导体行业报告（十）：AI大模型风起云涌，半导体与光模块高速增长2、AI应用专题之二：“情感陪伴”领域有望孵化杀手级应用走进芯时代（77）：XR身处人文与科技十字路口，开启空间计算时代走进芯时代（60）：AI算力GPU，AI产业化再加速，智能大时代已开启走进芯时代（58）：高性能模拟替代渐入深水区，工业汽车重点突破走进芯时代（57）：算力大时代，处理器SOC厂商综合对比走进芯时代（49）：“AI芯片”，AI领强算力时代，GPU启新场景落地走进芯时代（46）：“新能源芯”，乘碳中和之风，基础元件腾飞走进芯时代（43）：显示驱动芯—面板国产化最后一公里走进芯时代（74）：以芯助先进算法，以算驱万物智能
以传统三层架构到叶脊架构的转变为例，叶脊网络架构下，光模块数量提升最高可达到数十倍。基于缩小网络瓶颈考虑，大规模AI集群的网络架构需要满足大带宽、低时延、无损的需求。智算中心网络架构一般采用Fat-Tree（胖树）网络架构，具有无阻塞网络的特点。同时为避免节点内互联瓶颈，英伟达采用NVLink实现卡间高效互联。对比PCIe，NVLink具有更高带宽优势，成为英伟达显存共享架构的基础，创造了新的GPU到GPU的光连接需求。每个DGX A100 SuperPOD基本部署结构信息为：140台服务器(每台服务器8张GPU）+交换机（每台交换机40个端口，单端口200G）；网络拓扑结构为IB fat-tree（胖树）。关于网络结构的层数：针对140台服务器，会进行三层网络结构部署（服务器-Leaf层交换机-Spine层交换机-Core层交换机），每层交换机对应的线缆数分别为1120根-1124根-1120根。假设服务器和交换机之间采用铜缆，基于一条线缆对应2个200G光模块计算，GPU:交换机:光模块=1:0.15:4；若采用全光网络，GPU:交换机:光模块=1:0.15:6。每个DGX H100 SuperPOD基本部署结构信息为：32台服务器(每台服务器8张GPU）+12台交换机；网络拓扑结构为IB fat-tree（胖树），交换机单端口400G速率，可合并形成800G端口。针对4SU集群，假设为全光网络、三层Fat-Tree架构下，服务器和Leaf层交换机使用400G光模块，Leaf-Spine和Spine-Core使用800G光模块，则400G光模块数量为32*8*4=256只，使用800G的数量为32*8*2.5=640只。即GPU:交换机:400G光模块:800G光模块=1:0.08:1:2.5。针对单个GH200集群：256张超级芯片GPU互联，采用2层fat-tree网络结构，其中两层网络均采用NVLink switch来完成搭建，第一层（服务器和Level 1交换机）之间使用了96台交换机，Level 2使用了36个交换机。NVLink switch的配置参数为：每台交换机拥有32个端口，每个端口速率为800G。由于NVLink 4.0对应互联带宽双向聚合是900GB/s，单向为450GB/s，则256卡的集群中，接入层总上行带宽为115200GB/s，考虑胖树架构以及800G光模块传输速率（100GB/s），800G光模块总需求为2304块。因此，GH200集群内，GPU:光模块=1:9。若考虑多个GH200互联，参考H100架构，3层网络架构下，GPU:800G光模块需求=1:2.5；2层网络架构下，GPU:800G光模块=1:1.5。即多个GH200互联情况下，GPU:800G光模块上限=1:（9+2.5）=1:11.5。随着算力集群不断提升网络性能，高速光模块需求弹性加大。以英伟达集群为例，加速卡所适配的网卡接口速率和其网络协议带宽密切相关，A100 GPU支持PCIe 4.0，最大支持单向带宽为252Gb/s，即PCIe网卡速率需小于252Gb/s，因此搭配搭配Mellanox HDR 200Gb/sInfiniband 网卡；H100 GPU支持PCIe 5.0，最大支持单向带宽为504Gb/s，因此搭配Mellanox NDR 400Gb/s Infiniband 网卡。所以，A100向H100升级，其对应的光模块需求从200G提升到800G（2个400G端口合成1个800G）；而GH200采用NVLink实现卡间互联，单向带宽提升到450GB/s，对应800G需求弹性进一步提升。若H100集群从PCIe 5.0提升到PCIe 6.0，最大支持单向带宽提升到1024Gb/s，则接入层网卡速率可提升到800G，即接入层可使用800G光模块，集群中单卡对应800G光模块需求弹性对应翻倍。Meta此前发布“Research SuperCluster”项目用于训练LLaMA模型。RSC项目第二阶段，Meta总计部署2000台A100服务器，包含16000张A100 GPU，集群共包含2000台交换机、48000条链路，对应三层CLOS网络架构，若采用全光网络，对应9.6万个200G光模块，即A100:光模块=1:6，与前文测算的A100架构相同。针对LLaMA3的训练，Meta使用了H100 GPU，包含IB和以太网集群，最大均可支持3.2万张GPU。针对以太网方案，根据Meta披露的信息，其算力集群仍采用了有收敛的叶脊网络架构——每个机架2台服务器，接入1个TOR交换机（采用Wedge 400），一个集群中有252台服务器；Cluster交换机采用Minipack2 OCP机架交换机，一个集群中共使用18个Cluster交换机，推算收敛比为3.5:1；汇聚层交换机共18台（采用Arista 7800R3），收敛比为7:1。集群主要采用400G光模块，从集群架构来看，以太网方案仍有待在协议层面进一步突破，推动无阻塞网络的构建，关注超以太网联盟等进展。AWS推出了第二代 EC2 Ultra Clusters集群，包括H100 GPU和自研Trainium ASIC方案。AWS EC2 Ultra Clusters P5实例（即H100方案）提供3200 Gbps的聚合网络带宽并支持 GPUDirect RDMA，最大可支持2万张GPU组网；Trn1n实例（自研Trainium方案）单集群16卡，提供1600 Gbps的聚合网络带宽，最大支持3万张ASIC组网，对应6 EFlops算力。 AWS EC2 Ultra Clusters卡间互联分别采用NVLink（H100方案）和NeuronLink（Trainium方案），集群互联采用自研EFA网络适配器。对比英伟达方案，AWS自研Trainium ASIC集群单卡上行带宽推算为100G（1600G聚合带宽/16卡=100G），因此AWS目前架构中暂无800G光模块需求。Google最新的算力集群由配置为三维环面的TPU阵列组成。一维环面对应每个TPU连接到相邻的2个TPU，二维环面为2个正交的环，对应每个TPU连接到相邻的4个TPU；目前谷歌TPUv4即三维环面，每个TPU连接到6个相邻的TPU。基于此，每个机柜内部构建4*4*4=64颗TPU的3D网络结构。3D结构的外表部分连接到OCS，则一个4096颗TPU互联对应64个机柜、48个OCS交换机即48*64=6144个光模块，内部则采用DAC连接（18000条），则对应TPU:光模块=1:1.5。在OCS方案下，光模块需要采用波分复用方案，并增加环形器（Circulator）减少光纤数量，其光模块方案具有定制化特征（800G VFR8）。【终稿】2024年中国AR产业发展洞察研究
AI的内存瓶颈，高壁垒高增速（2024）
2024年AIGC发展趋势报告
2、电源管理芯片行业概览及研究框架
3、中国半导体系列报告：电源管理芯片行业概览
4、电源管理芯片研究框架《HotChips 2023及历年技术合集（汇总）》AI服务器催化HBM需求爆发，核心工艺变化带来供给端增量（2024）服务器行业报告：AI和东数西算双轮驱动，服务器在启航（2024）新进封装加速迭代，迈向2.5D 3D封装（2024）1、人工智能专题研究（一）：大模型推动各行业AI应用渗透 2、人工智能专题研究（二）：AI大模型开展算力竞赛，打开AI芯片、光模块和光芯片需求缺口3、人工智能专题研究（三）：Gemini 1.0有望拉动新一轮AI产业革新，算力产业链受益确定性强 4、人工智能专题研究（四）：OpenAI发布Sora文生视频模型，AI行业持续高发展本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
温馨提示：
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。
