【秒懂承载】热点技术名词——“RoCE”

原创 中兴文档 2024-03-11 12:01

今日和文档君一起学习技术名词:

RoCE(RDMA over Converged Ethernet,基于融合以太网的RDMA)—— 一种基于以太网的无损传输。
Q
什么是RoCE?

A

RoCE全称RDMA over Converged Ethernet,是一种允许在以太网上实现远程内存直接访问的网络协议。


基于以太网速率发展优势,利用RDMA(Remote Direct Memory Access)技术,可以在极少占用CPU资源的情况下,实现服务器之间的高速数据访问,提供大带宽、低时延的远程内存访问能力,适用于AI智算、高性能计算、高速存储等新型业务场景需求。


Q
为什么需要RoCE?
A

传统业务对丢包、时延、抖动等数据中心网络的传输性能指标并不敏感,但在AI智算/高性能计算/高速存储等场景下,业务对网络传输要求非常高。

以AI大模型为例,海量GPU之间的高速并行参数训练需要算力集群机间、卡间数据的高速互通,网络传输过程中的丢包重传越少、时延越短、吞吐效率越高,算力集群的有效计算时间占比就越高,大模型的训练速度会越快。同样在SSD(Solid State Drives)固态硬盘高速存储场景中,其性能相比HDD(Hard Disk Drives)机械硬盘存储提升了近100倍,也需要更快、更高质量的网络传输。 


传统TCP/IP机制,数据报文传输的每一次读取都需要通过CPU内核进行处理,这将带来大量的拷贝、封包解包开销,传输时延达到ms级,无法满足智算/高性能计算/高速存储中超低时延的传输要求。为此,RDMA远程内存直接访问技术应运而生,它与TCP/IP协议不同,将收/发包的工作卸载到网卡上,无需CPU处理,即可实现数据的直接访问,减少了拷贝、封包解包等等的开销。借用一个网上常见的比方,这就像车辆通过高速收费站,TCP/IP协议报文需要人工窗口(CPU)手动进行计费和收费,而RDMA协议报文则可以通过ETC,跳过人工取卡、收费等步骤,直接刷卡极速通过,极大地减少了CPU的负担,大大提高数据的转发效率。 


RDMA技术早期基于InfiniBand协议,必须使用IB交换机及IB网卡才可实现,生态极其封闭,使用成本非常高。以太网技术生态非常成熟,应用极其广泛。为了降低RDMA技术的使用成本,并提高网络通信技术的标准化,业界开始大力发展RoCE技术。 


RoCE通过一系列以太网流量、拥塞控制技术,调节数据包在发送端网卡、交换机网络、接收端网卡之间的传输速率、路径等,确保数据报文端到端零丢包、高速传输,实现基于以太网的RDMA。


Q
InfiniBand VS RoCE?

A

除了InfiniBand和RoCE,业界还有iWARP协议实现RDMA,前两种广泛商用,而后者应用则较少。

  • InfiniBand:性能领先、但生态封闭,好比苹果iOS。

  • RoCE:性能和生态相对平衡,好比谷歌Android。

  • iWARP:性能、生态相对落后于前两种,类似于黑莓OS。

三种技术的优劣势对比分析如下:


InfiniBandRoCEiWAP
成本
硬件IB交换机以太网交换机以太网交换机
稳定性出色一般
生态封闭开放开放
性能表现(时延、丢包等)出色较好
本文重点介绍应用较多的RoCE和InfiniBand的主要区别

1. RoCE在生态、端口速率和成本方面更具优势: 

  • 生态开放:RoCE生态基于成熟的以太网技术体系,业界支持厂商众多。相比于IB交换系统,RoCE网络不需要专用硬件,可以基于多厂商开放的硬件网卡/交换机等进行部署。

    同时业务的开通、运维与传统以太网技术一脉相承,配置、维护更为简单。 

  • 速率更快:以太网技术广泛应用于数据中心网络、城域网、骨干网,当前速率可以灵活支持1Gbps~800Gbps,未来有望演进至1.6Tbps。

    与IB相比,在互联端口速率和交换机总容量上更胜一筹。

  • 成本较低:以太网高端芯片经过多年的技术发展积累,其单位带宽成本更具竞争力,交换机成本整体更低。


2. InfiniBand在性能表现、商业应用等方面则相对领先: 

  • 性能优秀:IB通过高效轻量化的协议设计,相比以太网大幅降低了报文的开销,减少了传送时延。

    通过收/发设备之间基于信用的流量控制、端点之间的拥塞通知,确保了数据传送无丢包。

    基于子网管理器的集中控制,则保障了整网的高效部署和运维。

    基于上述技术,IB方案在时延、丢包、稳定性方面表现优异。 

  • 广泛商用:IB方案自1999年推出以来,作为服务器、存储之间的高速互联方案,有效替代了PCI总线技术,广泛应用在高性能计算、人工智能/机器学习集群等中小规模的数据中心网络中,产业生态链成熟。但在更大规模GPU的智算中心网络中,扩展性存在挑战,仍处于起步阶段。




Q
RoCE有哪些应用场景?
A

RoCE生态开放、速率更高、成本更低。可应用于AI智算、HPC高性能计算、高速存储等数据中心网络互联场景,解决了高速计算/存储等场景“InfiniBand”、“Fiber Channel”传统技术生态封闭、应用场景和供应链集中等问题,实现了“0”丢包、高吞吐、低时延的高速数据互访。


Q
RoCE技术业界进展?
A

最初发布的RoCEv1版本,将协议限制在以太网链路层,其数据帧不携带IP报文头,因此只能在L2子网内通信,限制了其可扩展性。

2014年,RoCEv2扩展了RoCEv1,将其报文头换成了UDP/IP,可以进行L3路由,大大提升了网络的可扩展性,目前已经被广泛认可使用。 

1. 传统RoCE技术发展 

由于RDMA要求网络传输性能无损“0”丢包,RoCE技术在以太网上承载,必须要解决以太网中的流量拥塞和丢包问题,现阶段已经有了一些比较成熟的拥塞流控技术,如PFC、ECN等,旨在提高转发效率,减少网络拥塞和丢包的发生,但两种技术控制方式略有不同。 

    • PFC(Priority-Based Flow Control,基于优先级的流控):在交换机上对流量进行优先级排序,当发生拥塞时,针对一个或几个优先级队列进行流控,通知上游停止流量发送,减少网络拥塞,确保数据不丢包。以高速公路收费站为例,将车辆分为多个队列在不同收费通道进行排队,当某个收费通道发生拥塞时,PFC机制将暂停上游车辆进入该通道排队。

    • ECN(Explicit Congestion Notification,显示拥塞通知):在发送端、交换网络和接收端之间进行协同,控制报文的发送速度,确保无阻塞转发。当网络中出现拥塞时,交换机通过设置拥塞标记ECN,通知发送端侧设备,降低报文的发送速度,以此来避免进一步拥塞。仍以高速公路收费站为例,ECN则是通过提前通知的方式,通知上游车辆减少在该通道排队,确保车流不拥堵。 


2. 增强RoCE技术发展 

RoCE在全路径负载均衡、端网协同等方面尚存在不足,业界仍在探索进一步优化的空间,比如: 

    • 负载均衡:网络侧通过DLB(Dynamic Loading Balance,动态负载均衡技术)优化传统的ECMP负载均衡算法,大幅提升网络吞吐效率。

    • 端网协同:交换机和DPU(Data Processing Unit,数据处理单元)进行端网协同,在数据报文发送和传输过程中,对包的大小、速率、路径进行端到端控制,确保“0”丢包、均衡、高速的传输。业界在端网协同方面进行了广泛的算法创新,目前已经有多个商用案例,但各个厂商的方案私有化程度极高,很难在全行业进行复制和推广。 


基于此,2023年,微软、英特尔、思科等海外厂商成立了超级以太网联盟UEC(Ultra-Ethernet-consortium),目标开发标准的超级以太网传输协议,满足AI和高性能计算领域对网络的需求。

同时,中国移动联合中兴通讯等产业合作伙伴共同提出了GSE(Global Scheduling Ethernet)全调度以太网技术架构,旨在突破智算中心网络性能瓶颈,打造无阻塞、高带宽及超低时延的新型智算中心网络,助力AIGC等高性能业务快速发展,值得持续关注。

我们是一群平均从业年限5+的通信专业工程师。
关注我们,带你了解通信世界的精彩!

中兴文档 通俗易懂且高颜值的通讯技术文档!
评论
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 466浏览
  • 在不断发展的电子元件领域,继电器——作为切换电路的关键设备,正在经历前所未有的技术变革。固态继电器(SSR)和机械继电器之间的争论由来已久。然而,从未来发展的角度来看,固态继电器正逐渐占据上风。本文将从耐用性、速度和能效三个方面,全面剖析固态继电器为何更具优势,并探讨其在行业中的应用与发展趋势。1. 耐用性:经久耐用的设计机械继电器:机械继电器依靠物理触点完成电路切换。然而,随着时间的推移,这些触点因电弧、氧化和材料老化而逐渐磨损,导致其使用寿命有限。因此,它们更适合低频或对切换耐久性要求不高的
    腾恩科技-彭工 2025-01-10 16:15 97浏览
  • 电动汽车(EV)正在改变交通运输,为传统内燃机提供更清洁、更高效的替代方案。这种转变的核心是电力电子和能源管理方面的创新,而光耦合器在其中发挥着关键作用。这些不起眼的组件可实现可靠的通信、增强安全性并优化电动汽车系统的性能,使其成为正在进行的革命中不可或缺的一部分。光耦合器,也称为光隔离器,是一种使用光传输电信号的设备。通过隔离高压和低压电路,光耦合器可确保安全性、减少干扰并保持信号完整性。这些特性对于电动汽车至关重要,因为精确控制和安全性至关重要。 光耦合器在电动汽车中的作用1.电池
    腾恩科技-彭工 2025-01-10 16:14 72浏览
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 447浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 433浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 455浏览
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 319浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 165浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 496浏览
  • 说到福特,就要从亨利·福特(Henry Ford)这个人物说起。在发明大王爱迪生的电气工厂担任工程师的福特下班后,总是在自家仓库里努力研究和开发汽车。1896年,福特终于成功制造出一辆三轮车,开启了福特汽车的传奇。最初几年,福特都是独自制造汽车并同时进行销售。 (今天很多人都知道的精益管理中的5S方法,或多或少地受到了福特 CANDO方法的影响。)1903年,福特从牧师、律师、银行家、会计师等十一位股东那里筹集了十万美元,并在自家庭院成立了美国第五百零三家汽车公司——福特汽车公司(Fo
    优思学院 2025-01-10 11:21 51浏览
  • Snyk 是一家为开发人员提供安全平台的公司,致力于协助他们构建安全的应用程序,并为安全团队提供应对数字世界挑战的工具。以下为 Snyk 如何通过 CircleCI 实现其“交付”使命的案例分析。一、Snyk 的挑战随着客户对安全工具需求的不断增长,Snyk 的开发团队面临多重挑战:加速交付的需求:Snyk 的核心目标是为开发者提供更快、更可靠的安全解决方案,但他们的现有 CI/CD 工具(TravisCI)运行缓慢,无法满足快速开发和部署的要求。扩展能力不足:随着团队规模和代码库的不断扩大,S
    艾体宝IT 2025-01-10 15:52 162浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 462浏览
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 97浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 487浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦