在较新的国际高性能计算排行榜TOP500中,大部分机器并非应用在传统的科学计算领域,而是应用在新兴的互联网云计算和大数据领域。HPC应用已从过去的高精尖向更平民化、普惠化的方向发展。HPC正与云计算、大数据、AI不断融合创新。HPCN与互联网技术进行融合,拓展传统HPCN支持DCN协议栈已成为当前国际高速互连领域的重要发展趋势。Intersect360全球HPC-AI市场报告(2022—2026)
Intersect360 AMD CPU和GPU调研白皮书
Hyperion Research:ISC23 HPC Market Update Breakfast Briefing(2023)《Hyperion Research HPC/AI领域市场报告》1、Hyperion Research:HPCaaS Whitepaper
2、Hyperion Research:HPC-Storage TCO-–Critical Factors Beyond per GB
3、Hyperion Research:The Economic and Societal Benefits of Linux Supercomputer
4、Hyperion Research:Supermicro-AMD in HPC Convergence Market
随着大型DC采用具有更高带宽需求的高性能加速器,数据中心网络通过支持远程直接内存访问(RDMA)、RDMA融合以太网(RDMA over converged Ethernet,RoCE)、互联网广域RDMA协议(iWarp)等新技术不断向HPCN融合。
融合网络研究现状
NV的IB高性能互连网络通过开发多模芯片,设计基于IB的以太网协议向以太网融合,已经推出多款多网络融合的芯片产品,具有低延迟和高带宽等高性能,可以极大地提高高性能计算系统和数据中心的性能。
Cray的Slingshot技术以HPC为中心增加了以太网兼容性,其交换机兼容传统以太网并对RoCE的一些不足进行了改进,同时支持高性能计算和数据中心。
国防科技大学在自主定制高速互连网络的基础上提出一种融合网络创新架构,实现高速网/以太网无缝兼容,灵活支持科学计算和云计算等多领域应用。
“天河”融合网络架构
“天河”融合网络架构包含PCIE主机接口处理模块、高速网网卡核心逻辑、交叉开关XBAR、以太网网卡核心逻辑、以太网报文拆分/拼装模块、物理层逻辑、高速网/以太网报文转换模块(Ethernet over high performance express,EoH)以及高速网/以太网可配的网络端口。EoH将高速网虚拟为以太网,使得连接在高速网中的节点直接与连接在以太网中的节点通信,通过高速网传输以太网报文,实现高速网/以太网无缝兼容,在一套物理硬件上灵活支持科学计算和云计算应用。
微软云平台、亚马逊云平台、百度机器学习和腾讯云都利用rdma来满足在线服务。大规模数据中心和云计算对网络延迟、吞吐量和CPU计算性能的严格要求形成了一切都在RDMA之上的局面。展望
随着HPC、大数据和AI计算呈融合发展趋势,高性能计算机和数据中心之间的界限越来越模糊,HPCN和DCN融合网络成为互连网络发展的重要趋势,从而支撑同一套基础设施高带宽、低延迟运行HPC、云计算、大数据处理和AI计算多领域应用,降低网络成本。论文分析了当前融合网络研究现状,针对当前最具代表性的融合网络进行了详细阐述,全面展示了该领域的最新技术动态,提出了融合网络面临的技术挑战。基于技术挑战,对融合网络的发展趋势进行了展望,包括融合网络协议栈设计中融合与分化并存、基于在网计算实现融合网络性能加速,面向新兴应用需求,优化融合网络性能。Hyperion Research:ISC23 HPC Market Update(2023)《Hyperion Research HPC/AI领域市场报告》1、Hyperion Research:HPCaaS Whitepaper
2、Hyperion Research:HPC-Storage TCO-–Critical Factors Beyond per GB
3、Hyperion Research:The Economic and Societal Benefits of Linux Supercomputer
4、Hyperion Research:Supermicro-AMD in HPC Convergence Market艾瑞咨询:ChatGPT浪潮下,看中国大语言模型产业发展从ChatGPT到RobitGPT,回答人形机器人8个问题算力铸就大模型:超算、智算及数据中心行业报告(2023)
《2023年高性能计算研讨合集(上)》
《2023年高性能计算研讨合集(下)》
《AI基础知识深度专题详解合集》
Intersect360全球HPC-AI市场报告(2022—2026)
Intersect360 AMD CPU和GPU调研白皮书
本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。