HPC和数据中心融合网络研究综述

智能计算芯世界 2023-09-15 07:38

在较新的国际高性能计算排行榜TOP500中,大部分机器并非应用在传统的科学计算领域,而是应用在新兴的互联网云计算和大数据领域。HPC应用已从过去的高精尖向更平民化、普惠化的方向发展。HPC正与云计算、大数据、AI不断融合创新。HPCN与互联网技术进行融合,拓展传统HPCN支持DCN协议栈已成为当前国际高速互连领域的重要发展趋势。

本文选自“HPC和数据中心融合网络研究综述”,对融合网络进行详细阐述,全面展示该领域的最新技术和动态;提出融合网络面临的技术挑战。

下载链接:

HPC和数据中心融合网络研究综述
华为王者归来系列:新鸿蒙、新PC、新底座
2023年中国联通DPU网络域场景应用白皮书
《浅谈超融合、服务器虚拟化技术合集》1、浅谈服务器虚拟化核心技术 2、浅谈超融合基础架构 3、企业桌面虚拟化系统的设计与实现
面向算力应用环节的计算绿色化白皮书(2023)
《混合AI是AI的未来合集》《混合AI是AI的未来》第二部分 高通在推动混合AI规模化扩展方面独具优势 《混合AI是AI的未来》第一部分 终端侧AI和混合AI开启AI的未来
计算机行业深度分析报告:大语言模型的前世、今生与未来
全球生成式AI应用全景图:AI应用进入大爆发时代
NICC新型智算中心算力池化技术白皮书(2023年)
AI算力行业深度:昇腾万里,力算未来(2023)

随着大型DC采用具有更高带宽需求的高性能加速器,数据中心网络通过支持远程直接内存访问(RDMA)、RDMA融合以太网(RDMA over converged Ethernet,RoCE)、互联网广域RDMA协议(iWarp)等新技术不断向HPCN融合。

融合网络研究现状

  • NV的IB高性能互连网络通过开发多模芯片,设计基于IB的以太网协议向以太网融合,已经推出多款多网络融合的芯片产品,具有低延迟和高带宽等高性能,可以极大地提高高性能计算系统和数据中心的性能。

  • Cray的Slingshot技术以HPC为中心增加了以太网兼容性,其交换机兼容传统以太网并对RoCE的一些不足进行了改进,同时支持高性能计算和数据中心。

  • 国防科技大学在自主定制高速互连网络的基础上提出一种融合网络创新架构,实现高速网/以太网无缝兼容,灵活支持科学计算和云计算等多领域应用。

“天河”融合网络架构包含PCIE主机接口处理模块、高速网网卡核心逻辑、交叉开关XBAR、以太网网卡核心逻辑、以太网报文拆分/拼装模块、物理层逻辑、高速网/以太网报文转换模块(Ethernet over high performance express,EoH)以及高速网/以太网可配的网络端口。EoH将高速网虚拟为以太网,使得连接在高速网中的节点直接与连接在以太网中的节点通信,通过高速网传输以太网报文,实现高速网/以太网无缝兼容,在一套物理硬件上灵活支持科学计算和云计算应用。

微软云平台、亚马逊云平台、百度机器学习和腾讯云都利用rdma来满足在线服务。大规模数据中心和云计算对网络延迟、吞吐量和CPU计算性能的严格要求形成了一切都在RDMA之上的局面。

RDMA技术最早在IB专用传输网络上实现,技术先进,性能最优,但价格高昂,应用局限在HPC领域。随着以太网性能的大幅提升,越来越多的人想要选择能兼容传统以太网的高性能网络解决方案,而传统TCP/IP堆栈应用无法支撑HPC网络通信。业界厂家把RDMA技术移植到传统以太网上,降低了RDMA的使用成本,推动了 RDMA技术普及。如图 4所示,根据协议栈融合度的差异,分为 RoCE和iWARP两种技术,而 RoCE又包括 RoCE v1和 RoCEv2两个版本。

谷歌的Aquila是一种实验性的数据中心网络架构,将超低延迟作为核心设计目标,同时也支持传统的数据中心业务。Aquila芯片架构基于GNet协议设计了融合交换和网卡的定制芯片,具有低延迟远程存储访问。Aquila芯片架构包含100Gbps的IP网卡、1RMA网卡、基于信元的GNet交换芯片以及IP协议引擎。当流量进入交换机时,一部分通过IP网卡走传统的基于数据包的以太网交换,一部分通过1RMA网卡走基于信元的GNet交换。芯片中间的IP协议引擎负责两种交换单位的转换,将IP数据包切割处理为多个信元或者将信元重新组装为IP数据包。

阿里自主研发了高性能网络,以应用为中心,通过“阿里云全栈自研+端网融合技术”,实现高性能可预期网络。2022年8月阿里在顶级会议SIGCOMM上发表端网融合架构,提出了要将数据中心网络从“低时延大带宽”演进到“确定性可预期”的目标,开启了确定性数据中心网络研究的新纪元。

展望

随着HPC、大数据和AI计算呈融合发展趋势,高性能计算机和数据中心之间的界限越来越模糊,HPCN和DCN融合网络成为互连网络发展的重要趋势,从而支撑同一套基础设施高带宽、低延迟运行HPC、云计算、大数据处理和AI计算多领域应用,降低网络成本。

论文分析了当前融合网络研究现状,针对当前最具代表性的融合网络进行了详细阐述,全面展示了该领域的最新技术动态,提出了融合网络面临的技术挑战。基于技术挑战,对融合网络的发展趋势进行了展望,包括融合网络协议栈设计中融合与分化并存、基于在网计算实现融合网络性能加速,面向新兴应用需求,优化融合网络性能。

下载链接:
全球生成式AI应用全景图:AI应用进入大爆发时代(2023)
通信行业专题研究:AI算力的复盘与展望(2023)
九天人工智能大模型创新实践
联邦学习算力加速方案
400+份重磅ChatGPT专业报告(合集)
隐私计算中的多层次计算技术
端云协同隐私计算系统的设计和落地探索
《大模型和AIGC技术合集(2023.9)》
1、AI大模型落地的前景和痛点,兼谈工程师架构师所面临的机会和挑战 
2、AIGC驱动下高校数字化转型 
3、大模型趋势下的企业数据体系思考 
4、大模型时代下数据中台该何去 
5、大模型重塑软件开发以及实践案例展示 
6、当GPT遇到低代码低代码平台AIGC开发落地实战
7、迈向通用人工智能时代之路——边缘与管力网络演进及思考
8、网宿边缘智能平台与AIGC探索
人工智能和虚拟现实将如何改变职场世界
2023年生成式人工智能的突破年
华为昇腾:国产AI算力的扛旗者(2023)
中国联通新一代AI计算基础设施白皮书
开放加速规范AI服务器设计指南(2023)
《未来网络白皮书(2023)合集》
1、未来网络白皮书(2023):算网操作系统白皮书 
2、未来网络白皮书(2023):以网络IO为中心的无服务器数据中心白皮书 
3、未来网络白皮书(2023):光电融合服务定制广域网白皮书

本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。


温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 87浏览
  •     为控制片内设备并且查询其工作状态,MCU内部总是有一组特殊功能寄存器(SFR,Special Function Register)。    使用Eclipse环境调试MCU程序时,可以利用 Peripheral Registers Viewer来查看SFR。这个小工具是怎样知道某个型号的MCU有怎样的寄存器定义呢?它使用一种描述性的文本文件——SVD文件。这个文件存储在下面红色字体的路径下。    例:南京沁恒  &n
    电子知识打边炉 2025-01-04 20:04 100浏览
  • 光耦合器,也称为光隔离器,是一种利用光在两个隔离电路之间传输电信号的组件。在医疗领域,确保患者安全和设备可靠性至关重要。在众多有助于医疗设备安全性和效率的组件中,光耦合器起着至关重要的作用。这些紧凑型设备经常被忽视,但对于隔离高压和防止敏感医疗设备中的电气危害却是必不可少的。本文深入探讨了光耦合器的功能、其在医疗应用中的重要性以及其实际使用示例。什么是光耦合器?它通常由以下部分组成:LED(发光二极管):将电信号转换为光。光电探测器(例如光电晶体管):检测光并将其转换回电信号。这种布置确保输入和
    腾恩科技-彭工 2025-01-03 16:27 180浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 51浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 104浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 124浏览
  • 自动化已成为现代制造业的基石,而驱动隔离器作为关键组件,在提升效率、精度和可靠性方面起到了不可或缺的作用。随着工业技术不断革新,驱动隔离器正助力自动化生产设备适应新兴趋势,并推动行业未来的发展。本文将探讨自动化的核心趋势及驱动隔离器在其中的重要角色。自动化领域的新兴趋势智能工厂的崛起智能工厂已成为自动化生产的新标杆。通过结合物联网(IoT)、人工智能(AI)和机器学习(ML),智能工厂实现了实时监控和动态决策。驱动隔离器在其中至关重要,它确保了传感器、执行器和控制单元之间的信号完整性,同时提供高
    腾恩科技-彭工 2025-01-03 16:28 170浏览
  • 随着市场需求不断的变化,各行各业对CPU的要求越来越高,特别是近几年流行的 AIOT,为了有更好的用户体验,CPU的算力就要求更高了。今天为大家推荐由米尔基于瑞芯微RK3576处理器推出的MYC-LR3576核心板及开发板。关于RK3576处理器国产CPU,是这些年的骄傲,华为手机全国产化,国人一片呼声,再也不用卡脖子了。RK3576处理器,就是一款由国产是厂商瑞芯微,今年第二季推出的全新通用型的高性能SOC芯片,这款CPU到底有多么的高性能,下面看看它的几个特性:8核心6 TOPS超强算力双千
    米尔电子嵌入式 2025-01-03 17:04 55浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 132浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 85浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 83浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 146浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 76浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 74浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 175浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦