为了实现零丢包,数据中心网络到底有多拼?

原创 鲜枣课堂 2022-06-07 11:50

数智时代的最大特点,就是AI人工智能的广泛应用。


进入21世纪以来,移动通信、光通信、云计算、大数据等ICT技术蓬勃发展,推动了企业的数字化转型。数据,变成了企业最核心的资产。


企业将这些数据资产全部存储并运行在数据中心之上。随着数字化的不断深入,数据规模变得越来越庞大。


2025年新增的数据量将达到180ZB

(数据来源:华为GIV)


传统的软件算法,根本无法处理如此海量的数据(更何况,其中95%以上都是语音、视频等非机构化数据)。于是,我们找来了能力更强的帮手,那就是——AI(人工智能)


AI可以完成海量无效数据的筛选和有用信息的自动重组,从而大幅提升数据价值的挖掘效率,帮助用户更高效地进行决策。


然而,想要利用好这个神器,我们需要三大要素的支持,那就是算法、算力和数据。


AI算法强不强,训练是关键。深度学习的算法训练,离不开海量的样本数据,以及高性能的计算能力。


在存储能力方面,从HDD(机械硬盘)到SSD(高速闪存盘),再到SCM(存储级内存),介质时延降低了100倍以上,可以满足高性能数据实时存取需求。


在计算能力方面,从CPU到GPU,再到专用的AI芯片,处理数据的能力也提升了100倍以上。


那么,这是否意味着数据中心能够完全满足AI规模应用的要求呢?


别急着说是,我们不能忘了一个重要的性能制约因素,那就是——网络通信能力



事实上,网络通信能力确实拖了存储能力和计算能力的后腿。数据显示,在存储介质和计算处理器演进之后,网络通信时延已经成为了数据中心性能提升的瓶颈。通信时延在整个存储E2E(端到端)时延中占比,已经从10%跃迁到60%以上。


也就是说,宝贵的存储介质有一半以上的时间是在等待通信空闲;而昂贵的处理器,也有一半时间在等待通信同步。


网络通信能力,已经在数据中心形成了木桶效应,变成了木桶的短板。


数据中心通信网络,到底出了什么问题?


上世纪70年代,TCP/IP和以太网技术相继诞生。


它们成本低廉、结构简单,为互联网的早期发展做出了巨大贡献。


但是,随着网络规模的急剧膨胀,传统TCP/IP和以太网技术已经跟不上时代的步伐,它们落后的架构设计,反而制约了互联网的进一步发展。


2010年后,数据中心的业务类型逐渐聚焦为三种,分别是高性能计算业务(HPC)存储业务一般业务


这三种业务,对于网络有不同的诉求。比如HPC业务的多节点进程间通信,对于时延要求非常高;而存储业务,对通信可靠性的要求非常高,网络需要实现绝对的0丢包;一般业务的规模巨大,扩展性强,要求网络低成本易扩展。


传统以太网可以适用于一般业务,但是无法应对高性能计算和存储业务。于是,业界发展出了Infiniband(直译为“无限带宽”技术,缩写为IB)网络,应对有低时延要求的网络IPC通信;发展出了FC(Fibre Channel,光纤通道)网络,提供高可靠0丢包的存储网络。



IB专网和FC专网的性能很强,但是价格昂贵,是以太网的数倍。而且,两种专网需要专人运维,会带来更高的维护成本。


是不是有办法,将三种网络的优势进行结合呢?有没有一种网络,可以同时实现高吞吐、低时延和0丢包?


这里,我先卖个关子,不揭晓答案。我们回过头来,看看TCP/IP协议栈的痛点。


传统的TCP/IP协议栈,实在是太老了。它的很多致命问题,都是与生俱来的。比如说它的时延,还有它对CPU的占用。


为了解决问题,专家们提出了一种新型的通信机制——RDMA(Remote Direct Memory Access,远程直接数据存取),用于取代TCP/IP。



RDMA相当于是一个快速通道技术,在数据传输时延和CPU占用率方面远远强于TCP/IP,逐渐成为主流的网络通信协议栈。


RDMA有两类网络承载方案,分别是专用InfiniBand传统以太网络



InfiniBand是一种封闭架构,交换机是特定厂家提供的专用产品,采用私有协议,无法兼容现网,加上对运维的要求过于复杂,并不是用户的合适选择。


除了InfiniBand之外,那就只剩下传统以太网了。


那比较尴尬的是,RDMA对丢包率的要求极高。0.1%的丢包率,将导致RDMA吞吐率急剧下降。2%的丢包率,将使得RDMA的吞吐率下降为0。



而传统以太网,工作机制是“尽力而为”,丢包是家常便饭。


又回到了前面那个问题:我们究竟有没有0丢包、高吞吐的新型开放以太网,用于支撑低延时RDMA的高效运行呢?


Duang!答案揭晓——


办法当然是有的,那就是来自华为的超融合数据中心网络智能无损技术


华为的零丢包秘技


华为的智能无损技术到底有何神通,可以解决困扰传统以太网已久的丢包问题?


其实,想要实现零丢包,首先要搞清楚网络为什么会产生丢包。


网络丢包的基本原因其实很简单,就是发生了溢出——网络流量超过了数据中心交换机的处理和缓存能力。


应对溢出,业界通用的做法,就是控制发送端的发送速度,从而避免超过交换机处理能力的拥塞形成。


具体来说,就是在交换机端口设置报文缓存队列,一旦队列长度超过某一个阈值(拥塞水线),对拥塞报文进行拥塞标记,流目的端向源端发送降速信号,即显式拥塞通知ECN(Explicit Congestion Notification)。


源端收到通知,从而降低发送速度,规避拥塞。



我们可以看出,这个阈值的设置非常关键。它决定了对报文进行拥塞标记的时机,是网络中是否会发生拥塞的决定性因素。


阈值的设置,是一门非常深的学问。


如果设置太保守,就会降速太多,影响系统吞吐能力。如果设置太激进,则无法达到无损的效果。


更关键的是,网络的业务类型是多样且变化的,有时候需要高吞吐,有时候又需要低时延。即便是有经验的专家,好不容易花了几天的时间,设置好了最佳水线位置,结果它又变了,咋整?


于是,华为想到了最适合干这个活的角色,那就是——AI


早在2012年,华为为了应对未来数据洪水挑战,投入了数十个科学家,启动新一代无损网络的研究。


经过多年的潜心钻研和探索,他们搞出了独具创新的iLossless智能无损算法方案。这是一个通过人工智能实现网络拥塞调度和网络自优化的AI算法。



华为iLossless智能无损算法以Automatic ECN为核心,并首次在超高速数据中心交换机引入深度强化学习DRL(Deep Reinforcement Learning)。


对比传统静态阈值配置僵化,无法动态适应网络变化的缺点,Automatic ECN为以太网的流量调度提供了智能预测能力,可以根据当前流量状态精准预测下一刻的拥塞状态,提前做好预留和准备。


基于iLossless智能无损算法,华为发布了超融合数据中心网络CloudFabric 3.0解决方案,引领智能无损进入1.0时代。


2022年,华为超融合数据中心网络继续探索,提出了更强大的智能无损网算一体技术和创新直连拓扑架构,可实现270k大规模算力枢纽网络(组网规模4倍于业界,可助力构建E级和10E级大型和超大型算力枢纽),时延在智能无损1.0的基础上,可进一步降低25%。



华为的智能无损2.0,基于在网计算(In-network computing)和拓扑感知(Topology-Aware Computing)实现网络和计算协同。一方面,网络参与计算信息的汇聚和同步,减少计算信息同步的次数;另一方面,通过调度确保计算节点就近完成计算任务,减少通信跳数,进一步降低应用时延。


以MPI_allreduce为例,相比传统网络仅做数据转发不参与计算过程,华为超融合数据中心网络可有效降低时延,提升计算效率27%。



华为超融合数据中心网络解决方案,为数据中心构建了统一融合网络,取代了此前的三种不同类型网络(LAN、SAN、IPC),大幅减少了网络建设成本和运维成本,总成本TCO下降了53%。AI业务的运行效率,则提升了30%以上。


智能无损技术的积累沉淀


近年来,华为围绕智能无损网络和iLossless智能无损算法,接连发布了多个产品和解决方案。


2018年10月,华为就发布了AI Fabric极速以太网解决方案,帮助客户构建与传统以太网兼容的RDMA网络,引领数据中心网络进入极速无损的高性能时代。


2019年1月,华为又发布了业界首款面向AI时代的数据中心交换机CloudEngine 16800,承载了iLossLess智能无损交换算法,实现流量模型自适应自优化,从而在零丢包的基础上,获得更低时延和更高吞吐的网络性能。



2021年6月,华为发布全无损以太存储网络解决方案(NoF+)。该方案基于OceanStor Dorado全闪存存储系统和CloudEngine数据中心存储网络交换机构建,可实现存储场景端到端数据加速,充分释放全闪存性能潜力。


除了自身积极进行技术研究和产品化之外,华为还积极推动相关技术标准的成熟。


2021年8月,华为发布的智能无损技术论文《ACC: Automatic ECN Tuning for High-Speed Datacenter Networks》(高性能数据中心网络中的ECN动态调优)入选全球网络通信顶级会议ACM SIGCOMM 2021,得到业界专家的一致认可,具有世界级技术影响力。


在华为主导下,IEEE 802成立了Nendica(“Network Enhancements for the Next Decade” Industry Connections Activity)工作组,联合业界共同探讨以太网技术标准发展的新方向,为智能无损网络技术发展提供了理论研究的开放土壤。


智能无损技术的落地实践


经过实际项目验证并获得客户认可的技术,才是可靠的技术。


华为的超融合数据中心网络CloudFabric 3.0解决方案,已经在金融、政府、超算中心、智算中心等客户广泛应用。包括中国银行、云南农信、华夏银行、湖北移动、中科院高能物理研究所、武汉人工智能计算中心、鹏城实验室等在内的众多高端用户,都是华为智能无损技术的使用者。


中国银行联合华为打造的新一代智能无损存储网络“RoCE-SAN”,结合中行具体的应用场景,实现了智能缓存管理、逐流精准控速、故障高可用秒级切换的技术创新突破,满足金融级高可用存储网络要求。


中科院高能物理研究所通过与华为的联合创新,采用零丢包以太网技术,构建了由数万颗CPU核构成的跨地域的高性能计算环境,很好地满足了高能物理领域对算力的需求。


某互联网巨头布局无人驾驶,无人驾驶技能的训练涉及到大量的AI计算:1天采集的数据,需要几百的GPU服务器7天才能训练完,严重影响无人驾驶的上市时间。通过华为的智能无损技术,最终使得整体训练的时长缩短40%,加速无人驾驶的商用进程。


除了丰富的行业落地案例,华为智能无损技术还获得了大量的行业奖项:


2018年6月,日本Interop展Best of Show Award金奖

2020年12月,中国银行业金融科技应用成果大赛“最佳解决方案奖”

2021年4月,日本Interop展Best of Show Award 2020银奖

2021年5月,2021数博会领先科技成果奖之“黑科技”类别

2021年10月,高性能计算领域 “融合架构创新奖”

2022年3月,中国通信学会科学技术奖特等奖

……


这些来自专业领域的认可,更加证明了华为基于智能无损技术的超融合数据中心网络解决方案,在领导力和先进性方面居于行业领先地位。


结语


从逻辑上来看,华为基于智能无损技术的超融合数据中心网络解决方案,是将AI技术在数据中心进行落地,用AI赋能数据中心,再用数据中心,去支撑AI应用。这是一种非常有趣的良性循环,引领了整个ICT行业的智能化潮流。


这个方案是为算力时代量身定制的,可以很好地满足算力时代计算、存储、业务等多种场景数据流通的需要。


放眼未来,AI与数据中心的深度融合,将完美支撑企业数字化转型所需的算力需求,加速数据存储和处理过程,帮助企业快速决策,加快迈入数智时代。



—— The End ——



鲜枣课堂 学通信,学5G,就上鲜枣课堂!
评论 (0)
  • 2024年初,OpenAI公布的Sora AI视频生成模型,震撼了国产大模型行业。随后国产厂商集体发力视频大模型,快手发布视频生成大模型可灵,字节跳动发布豆包视频生成模型,正式打响了国内AI视频生成领域第一枪。众多企业匆忙入局,只为在这片新兴市场中抢占先机,却往往忽视了技术成熟度与应用规范的打磨。以社交平台上泛滥的 AI 伪造视频为例,全红婵家人被恶意仿冒博流量卖货,明星们也纷纷中招,刘晓庆、张馨予等均曾反馈有人在视频号上通过AI生成视频假冒她。这些伪造视频不仅严重侵犯他人权
    用户1742991715177 2025-05-05 23:08 156浏览
  • ‌一、高斯计的正确选择‌1、‌明确测量需求‌‌磁场类型‌:区分直流或交流磁场,选择对应仪器(如交流高斯计需支持交变磁场测量)。‌量程范围‌:根据被测磁场强度选择覆盖范围,例如地球磁场(0.3–0.5 G)或工业磁体(数百至数千高斯)。‌精度与分辨率‌:高精度场景(如科研)需选择误差低于1%的仪器,分辨率需匹配微小磁场变化检测需求。2、‌仪器类型选择‌‌手持式‌:便携性强,适合现场快速检测;‌台式‌:精度更高,适用于实验室或工业环境。‌探头类型‌:‌横向/轴向探头‌:根据磁场方向选择,轴向探头适合
    锦正茂科技 2025-05-06 11:36 455浏览
  • 文/Leon编辑/cc孙聪颖‍《中国家族企业传承研究报告》显示,超四成“企二代” 明确表达接班意愿,展现出对家族企业延续发展的主动担当。中国研究数据服务平台(CNRDS)提供的精准数据进一步佐证:截至 2022 年,已有至少 280 家上市家族企业完成权杖交接,其中八成新任掌门人为创始人之子,凸显家族企业代际传承中 “子承父业” 的主流模式。然而,对于“企二代” 而言,接棒掌舵绝非易事。在瞬息万变的商业环境中,他们既要在白热化的市场竞争中开拓创新、引领企业突破发展瓶颈,又需应对来自父辈管理层的经
    华尔街科技眼 2025-05-06 18:17 33浏览
  • 飞凌嵌入式作为龙芯合作伙伴,隆重推出FET-2K0300i-S全国产自主可控工业级核心板!FET-2K0300i-S核心板基于龙芯2K0300i工业级处理器开发设计,集成1个64位LA264处理器,主频1GHz,提供高效的计算能力;支持硬件ECC;2K0300i还具备丰富的连接接口USB、SDIO、UART、SPI、CAN-FD、Ethernet、ADC等一应俱全,龙芯2K0300i支持四路CAN-FD接口,具备良好的可靠性、实时性和灵活性,可满足用户多路CAN需求。除性价比超高的国产处理器外,
    飞凌嵌入式 2025-05-07 11:54 91浏览
  • 在过去的很长一段时间里,外卖市场呈现出美团和饿了么双寡头垄断的局面。美团凭借先发优势、强大的地推团队以及精细化的运营策略,在市场份额上长期占据领先地位。数据显示,截至2024年上半年,美团外卖以68.2%的市场份额领跑外卖行业,成为当之无愧的行业老大。其业务广泛覆盖,从一线城市的繁华商圈到二三线城市的大街小巷,几乎无处不在,为无数消费者提供便捷的外卖服务。饿了么作为阿里本地生活服务的重要一环,依托阿里强大的资金和技术支持,也在市场中站稳脚跟,以25.4%的份额位居第二。尽管市场份额上与美团有一定
    用户1742991715177 2025-05-06 19:43 106浏览
  • 二位半 5线数码管的驱动方法这个2位半的7段数码管只用5个管脚驱动。如果用常规的7段+共阳/阴则需要用10个管脚。如果把每个段看成独立的灯。5个管脚来点亮,任选其中一个作为COM端时,另外4条线可以单独各控制一个灯。所以实际上最多能驱动5*4 = 20个段。但是这里会有一个小问题。如果想点亮B1,可以让第3条线(P3)置高,P4 置低,其它阳极连P3的灯对应阴极P2 P1都应置高,此时会发现C1也会点亮。实际操作时,可以把COM端线P3设置为PP输出,其它线为OD输出。就可以单独控制了。实际的驱
    southcreek 2025-05-07 15:06 541浏览
  • 硅二极管温度传感器是一种基于硅半导体材料特性的测温装置,其核心原理是利用硅二极管的电学参数(如正向压降或电阻)随温度变化的特性实现温度检测。以下是其工作原理、技术特点及典型应用:一、工作原理1、‌PN结温度特性‌硅二极管由PN结构成,当温度变化时,其正向电压 VF与温度呈线性负相关关系。例如,温度每升高1℃,VF约下降2 mV。2、‌电压—温度关系‌通过jing确测量正向电压的微小变化,可推算出环境温度值。部分型号(如SI410)在宽温域内(如1.4 K至475 K)仍能保持高线性度。
    锦正茂科技 2025-05-09 13:52 236浏览
  • Matter协议是一个由Amazon Alexa、Apple HomeKit、Google Home和Samsung SmartThings等全球科技巨头与CSA联盟共同制定的开放性标准,它就像一份“共生契约”,能让原本相互独立的家居生态在应用层上握手共存,同时它并非另起炉灶,而是以IP(互联网协议)为基础框架,将不同通信协议下的家居设备统一到同一套“语义规则”之下。作为应用层上的互通标准,Matter协议正在重新定义智能家居行业的运行逻辑,它不仅能向下屏蔽家居设备制造商的生态和系统,让设备、平
    华普微HOPERF 2025-05-08 11:40 382浏览
  • UNISOC Miracle Gaming奇迹手游引擎亮点:• 高帧稳帧:支持《王者荣耀》等主流手游90帧高画质模式,连续丢帧率最高降低85%;• 丝滑操控:游戏冷启动速度提升50%,《和平精英》开镜开枪操作延迟降低80%;• 极速网络:专属游戏网络引擎,使《王者荣耀》平均延迟降低80%;• 智感语音:与腾讯GVoice联合,弱网环境仍能保持清晰通话;• 超高画质:游戏画质增强、超级HDR画质、游戏超分技术,优化游戏视效。全球手游市场规模日益壮大,游戏玩家对极致体验的追求愈发苛刻。紫光展锐全新U
    紫光展锐 2025-05-07 17:07 330浏览
  • 后摄像头是长这个样子,如下图。5孔(D-,D+,5V,12V,GND),说的是连接线的个数,如下图。4LED,+12V驱动4颗LED灯珠,给摄像头补光用的,如下图。打开后盖,发现里面有透明白胶(防水)和白色硬胶(固定),用合适的工具,清理其中的胶状物。BOT层,AN3860,Panasonic Semiconductor (松下电器)制造的,Cylinder Motor Driver IC for Video Camera,如下图。TOP层,感光芯片和广角聚焦镜头组合,如下图。感光芯片,看着是玻
    liweicheng 2025-05-07 23:55 443浏览
  • 温度传感器的工作原理依据其类型可分为以下几种主要形式:一、热电阻温度传感器利用金属或半导体材料的电阻值随温度变化的特性实现测温:l ‌金属热电阻‌(如铂电阻 Pt100、Pt1000):高温下电阻值呈线性增长,稳定性高,适用于工业精密测温。l ‌热敏电阻‌(NTC/PTC):NTC 热敏电阻阻值随温度升高而下降,PTC 则相反;灵敏度高但线性范围较窄,常用于电子设备温控。二、热电偶传感器基于‌塞贝克效应‌(Seebeck effect):两种不同
    锦正茂科技 2025-05-09 13:31 226浏览
  • 文/郭楚妤编辑/cc孙聪颖‍相较于一众措辞谨慎、毫无掌舵者个人风格的上市公司财报,利亚德的财报显得尤为另类。利亚德光电集团成立于1995年,是一家以LED显示、液晶显示产品设计、生产、销售及服务为主业的高新技术企业。自2016年年报起,无论业绩优劣,董事长李军每年都会在财报末尾附上一首七言打油诗,抒发其对公司当年业绩的感悟。从“三年翻番顺大势”“智能显示我第一”“披荆斩棘幸从容”等词句中,不难窥见李军的雄心壮志。2012年,利亚德(300296.SZ)在深交所创业板上市。成立以来,该公司在细分领
    华尔街科技眼 2025-05-07 19:25 434浏览
  • 这款无线入耳式蓝牙耳机是长这个样子的,如下图。侧面特写,如下图。充电接口来个特写,用的是卡座卡在PCB板子上的,上下夹紧PCB的正负极,如下图。撬开耳机喇叭盖子,如下图。精致的喇叭(HY),如下图。喇叭是由电学产生声学的,具体结构如下图。电池包(AFS 451012  21 12),用黄色耐高温胶带进行包裹(安规需求),加强隔离绝缘的,如下图。451012是电池包的型号,聚合物锂电池+3.7V 35mAh,详细如下图。电路板是怎么拿出来的呢,剪断喇叭和电池包的连接线,底部抽出PCB板子
    liweicheng 2025-05-06 22:58 624浏览
  • 随着智能驾驶时代到来,汽车正转变为移动计算平台。车载AI技术对存储器提出新挑战:既要高性能,又需低功耗和车规级可靠性。贞光科技代理的紫光国芯车规级LPDDR4存储器,以其卓越性能成为国产芯片产业链中的关键一环,为智能汽车提供坚实的"记忆力"支持。作为官方授权代理商,贞光科技通过专业技术团队和完善供应链,让这款国产存储器更好地服务国内汽车厂商。本文将探讨车载AI算力需求现状及贞光科技如何通过紫光国芯LPDDR4产品满足市场需求。 车载AI算力需求激增的背景与挑战智能驾驶推动算力需求爆发式
    贞光科技 2025-05-07 16:54 216浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦