英伟达InfiniBand:面向AIGC有那些优势技术?

智能计算芯世界 2024-04-25 07:33

在AIGC的训练场景,基本上不差钱的客户都会首选InfiniBand,作为跨AI服务器节点的网络组网方案,今天我们就来讲一讲InfiniBand到底有那些针对AIGC场景的技术优化:

相关阅读:
  • InfiniBand,撼动不了以太网?
  • 英伟达Quantum-2 Infiniband平台技术A&Q
  • 一颗Jericho3-AI芯片,用来替代InfiniBand?


   集体计算能力(Collective Computational Power)

集体通信算法有助于在人工智能模型训练期间确保分布式节点之间的高效和协调通信。它们允许有效地训练大规模模型,提高训练速度,减少通信开销,并使分布式训练能够利用多个节点的集体计算能力。这将加速模型收敛并提高性能。

英伟达为深度学习框架开发了集体通信库,以利用多个节点内和跨多个节点的GPU。NVIDIA Collective Communication Library(NCCL)就是这种库的一个例子,它实现了用于全部减少、全部收集、减少、广播、减少分散以及任何基于发送/接收的通信模式的通信算法。它经过优化,可在任何使用PCIe和/或NVLink的平台上实现高带宽,并可使用NVSwitch、InfiniBand或以太网跨多台机器扩展。

   在网计算(In-Network Computing )

在网计算这一特性支持网络中基于硬件的计算引擎大规模卸载复杂操作。网络内计算在NVIDIA Quantum InfiniBand交换机上作为NVIDIA可扩展分层聚合和缩减协议(SHARP)实现。

作为一种网内基于树的聚合机制,SHARP支持多个同时进行的集合操作。启用SHARP后,交换机将被识别为聚合节点,并将执行此类数据缩减。NCCL在跨许多多GPU节点执行通信算法时利用了这一功能。由于执行操作时只发送一次数据,因此有效地将数据缩减的带宽增加了一倍,在使用SHARP的端到端NVIDIAQuantum-2400Gb/sInfiniBand网络上运行的NCCL性能将比没有SHARP的800Gb/s网络更好。

   自适应路由(Adaptive Routing )

nfiniBand作为一个软件定义网络(SDN)运行,并由一个名为子网管理器(SM)的软件管理实用程序管理。该集中式实体配置交换机以基于网络条件选择路由。交换机ASIC(从一组输出端口中)选择负载最小的输出端口,该端口将在整个网络中实现最佳性能。不同传出交换机端口之间的选择基于分级机制,该机制考虑了出口端口队列深度和路径优先级,其中最短路径具有更高的优先级。

InfiniBand的自适应路由通过将流量分布在所有网络链路上并提高链路利用率和平衡,从而优化链路带宽,从而最大限度地提高整体性能。重要的是要知道自适应路由会导致网络数据包无序地到达目的地。但是,作为一种端到端解决方案,InfiniBand本身包含管理无序数据包到达的硬件功能。

   拥塞控制(Congestion Control )

InfiniBand支持全面且可扩展的服务质量(QoS)功能,该功能使用基于信用的流量控制机制来调节发送方和接收方之间的数据流,从而保证确定的带宽和延迟。

InfiniBand实施拥塞控制体系结构(CCA),这是一个管理拥塞事件的三阶段过程。当交换机检测到拥塞时,它会打开一个称为前向显式拥塞通知(FECN)的位(在数据包中)。当数据包到达目的适配器时,它会使用具有不同位集的数据包来响应源适配器,称为反向显式拥塞通知(BECN)。当发送或源适配器收到BECN时,它会通过抑制数据包注入来做出响应。

   直通转发,降低转发时延

以太网采用两种数据处理模式:存储转发交换和直通转发,以太网(包括ROCE无损以太网),默认是采用存储转发模式,交换机需要先将整个数据包完全接收并存储在缓存中,检查数据包的目的地址和完整性后,再进行转发。这种方式会导致一定的延迟,特别是在处理大量数据包时。

而Cut-through(直通转发模式)技术,当交换机接收到数据包时,它只需要读取数据包的头部信息,确定目标端口,然后立即开始转发数据包。这种技术可以显著减少数据包在交换机中的停留时间,从而降低了传输延迟。

AI场景网络转发延时非常关键,直通转发肯定是首选,InfiniBand交换机使用直通转发模式(Cut-Through),让二层报文的转发处理变得非常简单。只需要一个16位的LID(这是由子网管理器直接给的),就能快速找到转发的路径。这样一来,转发的延迟就缩短到了100纳秒以下。

   “浅”缓存交换架构

InfiniBand交换机在设计上是“浅”缓冲交换机。以太网交换机可以大致分为“深”或“浅”缓冲交换机。深度缓冲交换机的缓冲区大小以千兆字节(GB)为单位,而浅缓冲交换机(如Spectrum以太网交换机)的缓冲区大小以兆字节(MB)为单位。深度缓冲交换机最初是为不同的目的而设计的,例如路由和广域网;因此,与传统的浅缓冲以太网交换机相比,它们具有非常不同的体系结构。深度缓冲交换机系统通常采用模块化设计,其特点是装有线路卡的大型机箱交换机。

虽然深度缓冲交换机功能丰富,支持数据中心互联(DCI)和电信网络所需的规模,但它们并未针对人工智能网络进行优化。深缓冲交换机可容纳额外的数据流量,对微突发不太敏感,但更大的数据容量会导致更高的尾部延迟,从而导致平均延迟增加和高抖动。这直接影响了依赖于最坏情况延迟的人工智能工作负载,导致更长的作业完成时间和增加的培训时间。

   网络链路故障恢复能力

InfiniBand交换机配备了独特的自我修复功能。由于这种自我修复的自主性,在发生链路故障的情况下,可以快速纠正通信,从而避免昂贵的重新传输或绝对故障。

与通常在以太网上运行的具有同质流量模式的传统应用程序工作负载不同,人工智能生成的异构流量具有突发性并且对网络故障高度敏感。例如,当从叶子到主干的链路断开时,这会影响多个机架中的多个GPU节点,并显著降低所有对所有的性能。流行的基于以太网的冗余措施(如EVPN多宿主或MLAG)无法解决性能问题。

来源:https://mp.weixin.qq.com/s/44am7_yS8mj1Pk-NGFnATA

下载链接:

2024 AI智算产业趋势展望分析报告

服务器行业深度报告:AI和“东数西算”双轮驱动,服务器再起航

AI时代的3D内容生产工具

复盘与未来推演(AI应用):追本溯源之后,我们相信什么?

深度研究:量子计算:人工智能与新质生产力的“未来引擎”

多模态,AI大模型新一轮革命

2024前沿人工智能安全的最佳实践

人工智能大模型工业应用准确性测评

边缘智能:铺平人工智能的“最后一公里”

泛半导体产业黑灯工厂发展研究洞察白皮书

PCIe标准的演进和测试要求

《英伟达GTC 2024技术汇总》

1、英伟达GTC 2024主题演讲:见证AI的变革时刻 2、展望GTC变革,共享AI盛宴 3、英伟达GTC专题:新一代GPU、具身智能和AI应用

英伟达GTC专题:新一代GPU、具身智能和AI应用(精华)

2024年策略:AI鼎新,与时偕行

人工智能生成图像的危害分析与网络真实性保护(2024)

家庭大脑白皮书(2024):大模型时代智慧家庭应用新范式

《半导体行业深度报告合集(2024)》

《人形机器人专题》
CPU和GPU研究框架合集

《70+篇半导体行业“研究框架”合集》

500+份重磅ChatGPT专业报告
《人工智能AI大模型技术合集》
《56份GPU技术及白皮书汇总》


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 45浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 44浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
  •         在有电流流过的导线周围会感生出磁场,再用霍尔器件检测由电流感生的磁场,即可测出产生这个磁场的电流的量值。由此就可以构成霍尔电流、电压传感器。因为霍尔器件的输出电压与加在它上面的磁感应强度以及流过其中的工作电流的乘积成比例,是一个具有乘法器功能的器件,并且可与各种逻辑电路直接接口,还可以直接驱动各种性质的负载。因为霍尔器件的应用原理简单,信号处理方便,器件本身又具有一系列的du特优点,所以在变频器中也发挥了非常重要的作用。  &nb
    锦正茂科技 2024-12-10 12:57 76浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 101浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 73浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 78浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 66浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 70浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦