SmartNIC和主要用以快速联网、高效数据处理、加速数据传输,并能实现网络、存储和安全等功能卸载。SmartNIC 和 DPU 能够满足数据中心高效联网,处理和迁移数据以及功能卸载的需求,助力后摩尔定律时代数据中心和网络性能的持续改进,同时对运营商网络智能化转型、东数西算、新一代算力网络构建、云网边端融合具有促进作用。
本文参考自“未来网络:SmartNIC DPU技术白皮书”,介绍 SmartNIC/DPU 的特征和需求、硬件和编程架构、技术和产业发展趋势,提供应用场景和应用案例,介绍相关公司及产品、以及 SmartNIC/DPU 的测试技术,同时提出发展建议,以期促进SmartNIC/DPU 相关产业发展。
根据 IDC 数据显示,2020-2025 年全球产生或复制数据量以CAGR 23%保持增长,并预计每四个月对算力的需求就会翻一倍。海量数据增长、数据频繁交互以及各类应用激增带来的巨大流量增长,加速数据中心网络向更高性能和更高灵活性方向演进。数据中心网络打破传统端口速率十倍增长的十年代际演进周期,加速向 100 Gbps、200 Gbps、400 Gbps,甚至 800 Gbps、1.6 Tbps 发展。根据华为预测,未来十年通用算力将增长 10 倍,人工智能算力将增长 500 倍。
智能网卡应运而生,一种可编程的智能网络适配器来卸载数据中心的网络工作负载,减轻 CPU 处理任务的负担,其发展历程可被划分为三个阶段:基础网卡、第一代智能网卡和第二代智能网卡。
基础网卡(NIC)是将电脑接入局域网的设备,主要负责数据帧的封装、解封以及物理层电气信号的相应处理。网络协议栈中传输层、路由层等更高层的逻辑则由端系统的 CPU 负责,但随着 overlay 协议、OpenFlow、Open vSwitch(OVS)等虚拟交换技术的引入,网络数据平面复杂性急剧增加,使得 CPU 侧负载过重,基础网卡的固定流量处理功能逐渐无法满足需求。该阶段的网卡主要通过 DPDK 和 SR-IOV 等方式向虚拟机(VM)提供网络接入能力。
第一代智能网卡(Smart NIC)最早由 Netronome公司于 2016年提出,旨在实现基础网卡网络传输功能的同时灵活实现复杂网络数据平面功能。随后智能网卡的硬件卸载功能被不断完善,并逐渐发展为提供内置可编程、可配置的硬件加速引擎,通过将 OVS 功能从服务器 CPU 卸载到网卡,释放昂贵的 CPU 资源,并提供更好的可扩展性和更高的性能。
第二代智能网卡(现阶段的智能网卡),在具备第一代智能网卡基础功能的同时,实现了控制面的加速和数据面加速的增强,比较典型的有英伟达(Nvidia)的 DPU(Data Processing Unit)和英特尔(Intel)的 IPU(Infrastructure Processing Unit)。DPU 概念最早由 Fungible 于2018 年提出,2020 年 Nvidia 发布首款 DPU 产品,在支持网络处理、安全和存储功能的同时,实现网络虚拟化、硬件资源池化等基础设施层服务。
智能网卡目前在业界尚未形成统一定义,我们将其定义为一种以数据为中心构造的兼具硬化加速器和网络连接的可编程智能网络适配器,主要负责卸载、加速和隔离软件定义的网络、存储、安全和管理功能,最终实现数据中心性能、效率和安全能力的显著提高。智能网卡一般拥有以下特征:
智能网卡的优势包括:
1)实现业务和基础设施操作分离,提高服务器和数据中心的效率和吞吐量,并降低长尾延迟;
2)实现各种基础设施操作卸载,提供软件定义和硬件加速的网络、存储、安全和管理等服务;
3)实现零信任安全保护,通过卸载控制平面完全隔离主机业务保证安全;
4)实现硬件可编程,为广泛应用程序提供定制化能力或重新组装以满足新要求。
SmartNIC/DPU需求和意义:
(1)从行业的角度:随着万物互联时代的到来,家居、医疗、工业、交通等场景逐步向数字化转变,算力呈现指数级增长,芯片将成为突破算力瓶颈的关键。
(2)从技术的角度:智能网卡面临的挑战包括:
(3)从用户的角度:全球数据量激增促使数据中心网络从“以计算为中心”转向“以数据为中心”,加速数据传输、提升用户体验,需要最小化后端请求的尾部延迟。网络带宽和连接数的剧增进一步推进算力需求爆炸式增长,而摩尔定律日趋极限,CPU 性能增长速度逐渐放缓。寻求更符合用户需求的计算芯片已成为业界共识。
(4)从场景的角度:智能网卡可以在网络功能卸载、存储功能卸载、安全功能卸载以及 5G MEC、人工智能、区块链、科学计算等诸多应用场景中发挥重要作用。
智能网卡为解决算力供需失衡问题而生,行业发展目标主要分为纵向深耕和横向扩展两个方面。
(1)根据具体的应用领域完成从研发到商业化落地,对智能网卡行业进行纵向深耕,实现高度可编程、通用和专用并存的智能网卡,构造成熟的智能网卡软硬件体系。
针对不同的场景和用户需求,智能网卡通过“软件定义,硬件加速”的软硬件协作方式,满足用户对存储、网络、安全等应用的具体需求。上下游企业共同构建开放、安全的生态环境,按照存储、虚拟化等基础技术研发的规律来研发智能网卡,划分好逻辑层次,构造一个完整的智能网卡软硬件体系。
(2)智能网卡创新产品赋能各行各业,推进智能网卡成为新的生产力,实现承载更多业务种类和业务场景的智能网卡产品。
智能网卡通过承载更加丰富的应用场景实现横向扩展,包括但不限于云网络、存储、安全、高性能计算以及人工智能、5G MEC 等应用场景。例如在云网络中,智能网卡提供硬件加速服务,将原本在CPU 上运行的通信和虚拟化操作卸载到智能网卡;在网络安全中,智能网卡可以将安全业务操作(如数据的加密/解密)从 CPU 卸载到网卡来降低 CPU 负载;在数据存储中,智能网卡可成为存储的入口,将远程访问和分布式的存储本地化。
(1)上游分析
EDA 是集成电路设计的基础工具,贯穿集成电路设计、制造和封测等环节,对智能网卡的研发与量产至关重要。从全球角度来看,EDA行业主要由Synopsys、Cadence、Siemens EDA(原Mentor Graphics)三家公司垄断,共占全球市场份额的 78%,属于第一梯队。
从国内角度来看,国内 EDA 企业(主要有华大九天、概伦电子和芯启源)与第一梯队仍有较大差距,根据赛迪智库数据,2020 年国内 EDA 市场销售额约 80%由全球三巨头占据,华大九天作为国内EDA 龙头企业仅占约 6%。
(2)智能网卡产业分析
目前全球智能网卡产业仍处于起步阶段,国内外企业呈现百家争鸣的竞争格局。
从时间来看,全球智能网卡厂商步调基本一致,商品落地、抢占市场、营造生态成为智能网卡产业发展的关键。智能网卡商品落地方案多以从基本的网络控制器扩展至 SoC 为主,主流方案类型可概括为三种:
一是采取处理器配合 FPGA 外加加速引擎的智能网卡,例如 Intel 的 IPU,以牺牲部分灵活性为代价增强应用针对性和性能;
二是采取最新处理器内核配合加速引擎的智能网卡,例如 Marvell 的 OCTEON 10,算力很高但是针对特殊的算法和应用仍具有局限性;
三是采用处理器配合 ASIC 外加加速引擎的智能网卡,例如 NVIDIA 的 BlueField-3,同时保证可编程灵活性和应用高性能,是目前最新的产品趋势。
全球云厂商、通信领域厂商已开始积极布局,智能网卡的应用需求不断扩张。亚马逊与阿里云皆在 DPU 概念被正式提出之前就自主研发了相关产品用于自身业务定制化硬件加速,例如:AWS Nitrosystem 和 X-Dragon。国内电信领域业务持续扩大,虚拟化及边缘侧对智能网卡的需求稳步提升,智能网卡可以解决边缘算力资源消耗问题同时降低机房功耗,提升边缘业务能力。国内外智能网卡终端应用服务商步调基本一致,国内终端应用服务商有望通过抓住时间窗口或与智能网卡芯片厂商合作,进一步提升自身业务和技术能力,从而占据智能网卡市场有利地位。
本文参考自“未来网络:SmartNIC DPU技术白皮书”,介绍 SmartNIC/DPU 的特征和需求、硬件和编程架构、技术和产业发展趋势,提供应用场景和应用案例,介绍相关公司及产品、以及 SmartNIC/DPU 的测试技术,同时提出发展建议,以期促进SmartNIC/DPU 相关产业发展。
算力网络技术白皮书(2022)
《Hot Chips 33:光子处理器合集》
《Hot Chips 33:加速器合集》
《Hot Chips 33:高性能、低功耗处理器/控制器》
《Hot Chips 33:神经网络处理器(合集)》
《硅片国产化进程》
来源:网络通信与安全紫金山实验室等
本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。
免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。
电子书<服务器基础知识全解(终极版)>更新完毕。
获取方式:点击“阅读原文”即可查看182页 PPT可编辑版本和PDF阅读版本详情。
温馨提示:
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。