大话DPU—从网络到数据

原创 歪睿老哥 2021-09-30 17:30


2019年,NVIDIA 69亿美金收购了一家以色列的公司,Mellanox。


虽然贵,但是很值。


收购Mellanox之后,老黄把其中Mellanox产品线中一个不起眼的可编程的网卡系列bluefield改名为DPU。


后来的事情,就超出了老黄的想象,各种DPU公司风起云涌,甚至压过“AI”一头,成为了VC眼中的“新贵”,成为了风口。


对于网卡芯片行业,大家都在讲smartnic(智能网卡)的故事,智能网卡已经很高大上了,smartnic,智能网卡。


DPU这个故事一来,smartnic这个名字就从“小甜甜成”了“牛夫人”。


此一时,彼一时。


Mellanox成立于1999年,是以Infiniband产品而起家的,Infiniband主要是是一个用于高性能计算的计算机网络通信标准。Infiniband具有极高的吞吐量和极低的延迟,可以理解成行化的总线。


infinity 无限的。band  带宽;infiniband这个名字直译无限带宽”,非常霸气。


和普通人用的计算机网络比起来Infiniband在带宽和时延上有优势。成本比网络高多了。 但是由于要额外的Infiniband交换机,其成本限定了只能在超算和存储领域这些商用领域使用。


Infiniband的HCA卡和Infiniband交换机。对应就是普通组网的网卡和网络交换机,因为Infiniband的HCA卡和网卡基本上外观一摸一样,技术也类似。都是一端PCIe,另一端高速的serdes所以Mellanox轻车熟路的切入了网卡芯片领域。


在网卡芯片领域,这个和Infiniband不同,这个市场要“内卷”的多,intel在10G网卡时代,凭借82599,X710等多个型号,可以说在服务器网卡市场上,呼风唤雨。和intel的CPU一起配合,成为了各个厂商的首选。


而在网络从10G到25G转换节点上,Mellanox异军突起,成为了市场的佼佼者,Microsoft和Mellanox深度合作,让Mellanox在25G成功上位,取代了Intel和Broadcom在高端网卡的江湖地位。同时Mellanox给网卡来了ROCE,一种基于ethernet的Infiniband的协议,这个是Mellanox的看家本领。数据中心向25G节点转换上,Mellanox成为了最大的赢家。


在2019年时,Mellanox已经称霸服务器网卡市场,是25G/100G解决方案最重要玩家之一。


Mellanox被intel和NVIDIA同时都看上了,intel开出了55亿-60亿美金的“彩礼”,而NVIDIA开出了接近70亿美金的价格。


最终NVIDIA赢了。


平心而论,intel有自己的网卡芯片团队,收购Mellanox只不过是锦上添花,而NVIDIA在网络这个方面毫无积累,所以NVIDIA更迫切,业务协同性更优,也更志在必得。


事实也证明如此!


从智能网卡到DPU,不仅是名字的称呼的改变。


说到DPU,先讲三个故事,看看DPU都干些什么东西。


1:卸载offload

 

很多刚刚入手固态硬盘的朋友,可能会对于固态硬盘容量标识产生疑惑。以某厂商 1TB固态硬盘为例,按道理来说1TB=1024GB,但是在电脑上只能看到953GB。

 

为什么?

 

因为放了一部分FTL 固件的表项,用于均衡磨损。

 

简而言之,花100块钱,只能得到90快钱的东西。

 

花两碗粉的钱,吃了一碗粉,因为有一个空碗需要承担的开销

 

问顾客爽不爽。

 

肯定不爽。

 

云服务厂商也不爽。

 

以目前的公有云为例,IaaS:Infrastrure-as-Service(基础设施即服务)

 

但是对IaaS厂商来说,和普通人买SSD面临同一个情况的窘境。

 

买了一批处理器,内存,硬盘,机房,空调,成立了一个云中心,作为基础设施提供给各位厂家来用。

 

买个100核的CPU,只能用80个核.

 

其他20个核去哪里了?

 

跑一堆云上的软件,OVS,安全,存储,管理等等。

 

这些额外20个核的开销部分,叫做数据中心税,datacenter tax。

 

所以从云厂商来说,是如何利益最大化。用行业“黑话”,降低TCO(总拥有成本)。

 

如何取消数据中心税,那就是要让DPU把这些活都干了。

 

这个故事里面。

 

DPU就是那个干脏活,累活的角色。

 

在云中心,什么脏活累活最为典型?


那非OVS卸载莫属了!

 

OVS的功能说白了,就是虚拟机VM之间的虚拟交换机,原本用软件来实现的。

 

 

说到交换机,那就是三板斧,协议解析,表项查找,动作执行。

 

二层交换机,解析MAC转发,


三层交换机,解析IP转发。

 

OVS虚拟交换机就是解析流表转发。


OVS的流表有三个特点:


1:表项长。

    从五元组,7元组,到更多元组;从端口号,源MAC,目的MAC,VLAN,源IP,目的IP,源端口号,目的端口号等,这还不算完,还有更多项需要参与转发。


2:表项多。

   从几十K到几百K的表项。随着从虚拟机到容器这些更细粒度的划分,表项也是直线增加。


3:查找时间短。

   从10Gbps小包查找大约需要60ns,到100Gbps小包查找需要6ns查找到。


有一种说法, 如果是CPU软件来实现OVS,25Gbps开销需要大约20%处理器核处理,100Gbps大约需要80%的处理器核来处理,数据中心税高了,留给业务的就更少了。


简而言之,随着网络的发展,处理器的能力跟不上了。

 

解决这个问题核心就是,将OVS 卸载(offload)到一个处理单元上来做这个业务。因为本来就是网络的业务,所以卸载到网卡上是最直接的想法。

 

 

如图所示,就是软件卸载和硬件卸载的区别。


那么DPU除了除了OVS的卸载,还有哪些卸载?


1:TCP offload;

2:TLS offload;

3:加密offload;

4:压缩的offload;

 

这些offload,最直接就是降低数据中心税。也有把这些形式叫做IPU,基础设施处理器。


但是,单纯offload,是不能称之为DPU的。

 

2:hypervisor管理


很多人都去过网吧,但是不一定都去过VIP包房。

 

VIP包房和大厅不一样。

 

独立,安全,隐私性好。


VIP身份不会有和普通客户一样的待遇。

 

这样的客户给网吧老板带了非常高的收益。

 

所以要服务好VIP客户。

 

赚钱吗?不磕碜!

 

个人用户赚钱还是企业用户赚钱。

 

大多数是企业用户赚钱。

 

作为云服务厂商,天生有两个用户,个人用户,企业用户。

 

个人用户登录,是一个虚拟机,虚拟机好处就是一个CPU拆开来卖,分时复用,分区复用,没钱就忍了。

 

企业用户和普通用户不一样,肯定是VIP服务。

 

企业用户需要什么VIP云服务?


  • 极强的计算性能,具有和普通物理机一样的计算性能;

  • 安全隔离,物理隔离,资源独占;

  • 快速交付,物理机资源标准化和池化,随取随用;

  • 和云产品连通,如果需要可以和云主机、云存储、云数据库打通,方便业务使用。


什么是云上的VIP服务,那就是裸金属云。


裸金属云就是为企业用户的量身打造的VIP包房;

 

从物理机到虚拟机,容器这些技术是演进的方向。


但是没有想到。重新包装好的物理机又成了香饽饽。

 

还换了一个高大上的名字,裸金属云。 

 

云服务商把全部的CPU资源都给用户去用了。


但是也不能放手不管。

 

怎么管,放在哪里来管。

 

用了一个hypervisor的卡来管理。


如果把CPU比喻成一个宾馆大楼,每个楼里的房间就是一个CPU core,住客就是虚拟机,hypervisor可以认为这个楼的的管理员,只不过这个管理员也要住在宾馆大楼里面,占用一个到几个房间(CPU core)。

 

现在VIP来了,整个宾馆大楼直接都给了VIP租下来了。


当然管理员(hypervisor)也不能在大楼住了,但是管理员(hypervisor还是需要的,就得给管理员(hypervisor找个家。

 

CPU里面不能住了,这个家就放在了DPU里面;

 

阿里云的裸金属云的建设中,提出了一种裸金属bm-hive(bm baremetal 裸金属的缩写),直接把bm-hypervisor 放在了一个网卡形态的设备上,在这种形态下,所有的计算资源都是计算板的一部分,这个可以是X86的E5,core I7,AMD ,甚至可以是ARM。也就是说,在这种结构下,X86的地位只是一个计算节点之一。

 

 

裸金属 hypervisor通过DPDK的vswitch和SPDK的云存储,替代了所有的计算板所有的IO需求,


裸金属 Hive支持VGA设备,供用户连接到bm guest的控制台,裸金属-Hive的架构不仅允许它无缝地集成到现有的云基础设施中,而且使计算板的设计高度灵活——唯一的硬要求是它支持virtio接口。

 

这种方案,但是其核心思想是将计算节点抽象出来,更专用,更灵活的参与到整个服务中;

 


 

这种思想提出,在AWS的的nitro卡就有了。

 

AmazonEC2的 hypervisor 专用硬件实现。当然是个精简的hypervisor,它基于Linux内核的虚拟机(KVM)技术构建,但不包括通用操作系统组件。

 

 

3:从网络到数据


DPU的核心是data。


为什么从网络到数据?


简而言之,TCP/IP的处理效率受到了极大的挑战。


对于10Gbps的网络来说,最大处理约14.88Mpps的包(64byte).

   10 000 000 000/(64byte + 20byte)*8 = 14.88Mpps。


那么对于100G的网络来说,需要处理器包的数目是148.8Mpps(64byte)。

 

而linux的kernel能够处理的能力也就是1M到几MPPS量级左右。



需求和现实,巨大的落差。


要想满足需求,bypass掉kernel,是一个所有人看到的方向。


很多kernel bypass的手段被提出了。


例如DPDK。DPDK就是一种kernelbypass的框架。DPDK通过应用层的PMD的程序不断的轮询。不用中断,而是用轮询,这个是DPDK提升性能的关键。


DPDK还需要CPU一个进程不断轮询。


而RDMA,则是更彻底的kernel bypass,CPU则直接什么也不做,数据直接送给应用层。

 


 

 

DPU就是承载RDMA的另一个载体。RDMA的协议用的是infiniband(IB)。而为了减低成本,不用部署额外的infiniband(IB)。其底层用了IP来承载,主要有两个分支,用IP/UDP承载IB是ROCEv2。用IP/TCP承载IB



Infiniband(IB)是Mellanox的强项,IB是HPC数据交换的互联协议,高性能计算就是例如超算,全球TOP500里面有60%采用了IB进行互联。

  


 

说回RDMA,那么RDMA到底干了什么?

 

除了传统的send receive。最重要的就是 read,write。

 

read,write的是什么。


是数据。


一台主机直接直接向另一台机器的虚拟内存的地址上读或者写。


这个意味着,使用外部资源就如同本地资源一样方便。


没有比这个更简单的操作了。


大道至简!

 

read和write的都是data;

 

基于这个意义上,DPU的D才开始有点意思了。

 

有趣的是,RDMA(IB)是在超算中发展起来的。

 

超算的架构都是CPU+GPU的异构。

 

超算的底层互联从来不是以太网,原因无他,以太网的效率太低了,以太网只在超算边缘作为管理网络来使用。

 

而DPU的设想中,很多资源池化的想法,和HPC有一些异曲同工之妙;

 

2020年hotchips上初创DPU公司,Fungible就有非常准确的描述。通过DPU将X86计算资源,GPU/AI资源,SSD/HDD等存储资源,作为池化资源的构成一个整体,提供外部使用。


Fungible用的技术叫做TrueFabric。RDMA的优劣不是本文要讨论的部分。


但是通过DPU把整个数据中心连接起来,实现高速率,低延迟的效果。




 


这个模型下,整个结构更类似一个边缘云中心。


不过在老哥看来,更类似超算和云融合的一种解决方案。


基于目前这个意义上,DPU的data还只是搬移,并没有在严格意义上被处理。


某些安全处理也是为了数据搬移过程的安全特性,比如IPsec over RDMA;也就是端到端的安全特性,这些数据处理是保护数据,而非改变数据本质。


这个数据搬移还包括:


1:存储数据DPU搬移:

     nvme over fabric,nvme over RMDA。


2:AI数据的DPU搬移:

     GPUdriect over RDMA。


低延迟,高带宽,高性能;


核心目标就是像本地数据一样,访问分布式或者池化的资源。


通过DPU实现数据资源池化。


网络是手段,数据才是目的。


只不过这种连接可以是RDMA,也可以是其他技术手段,RDMA只是其中之一。

 

 

4:谁来用DPU?


第一个卸载的故事中,DPU是offload CPU的负载,是“长工”。

 

第二个管理的故事中,DPU是CPU的hypervisor,是“管家”。

 

第三个数据的故事中,DPU高效的提供CPU 数据,是“奶妈”。


这些手段的目标都是降低TCO,是因为CPU来做这些工作不经济。


无论如何,DPU都不是替代CPU做计算。


在DPU上一堆处理器,来和CPU比赛干活,这个是不是比CPU更有优势?见仁见智。


DSA只有面向一个领域定制,才能有成本的优势。


所以DPU不需要在通用计算领域来搞事情。


保持数据(data)的本色,才是真谛。

 


 


最后一个问题,关于DPU,主要场景用在云上。


云厂怎么想?

    

当然是自研!


AWS的Nitro系列,以及阿里的MOC等等。都是特殊定制的DPU。目前国内几大云厂,基本上全部都有自研方案或者自研计划。


每家云的解决方案都有所不同,特别是DPU是软件和硬件紧密耦合的产物。


云厂对业务更懂,研发能力也不弱。


目前也有很多初创公司做DPU芯片,市场一片火热。


如何把DPU芯片卖给也做这个方面的云厂“竞争对手”?


这是一个比AI芯片更难的难题。




后记

“上周末的智能网卡研讨会,老哥网上听了下各路专家的演讲,云厂面临的问题多,市场能提供的大规模部署的解决方案少,头部云厂商(阿里,腾讯)都是带着自研方案而来的,FPGA+CPU倒是成了大部分公司的DPU不约而同的系统方案,xilinx和intel的FPGA成为市场的选择,也看出来DPU芯片前路漫漫,且行且珍惜,祝大家国庆快乐。



 欢迎关注:歪睿老哥,如果你觉得本文还不错,欢迎点赞,在看,分享。


往期阅读:

芯片代工产业简史-创造自己,也创造了客户

“无法破解的芯片”到底是个什么原理?

"乾坤大挪移",FPGA工程师七层技术修炼之道

苹果也来凑热闹,能否补齐RISC-V的短板?

资本宠儿慕容复,芯片创业为什么会失败?

大话手机处理器-世界上最复杂的芯片

日本芯片产业大败局

“硅仙人”Jim Keller的芯片研发封神之道

EDA工具,芯片打工人爱恨交织的宿命

矿机芯片的今天,AI芯片的明天?

云端芯片之战-小乌云还是大风暴

芯片过热?一场芯片供应链的饱和式救援。

“为了这点醋,包了一顿饺子”-AI芯片的落地之道

降低芯片流片失败风险的"七种武器"

芯片设计公司修炼的“四层境界”

中国芯片产业什么时候能够超过美国

歪睿老哥 芯片设计行业老兵,聚焦芯片行业的那些事,唯武侠与芯片不可辜负。
评论
  • 北京时间3月11日,国内领先的二手消费电子产品交易和服务平台万物新生(爱回收)集团(纽交所股票代码:RERE)发布2024财年第四季度和全年业绩报告。财报显示,2024年第四季度万物新生集团总收入48.5亿元,超出业绩指引,同比增长25.2%。单季non-GAAP经营利润1.3亿元(non-GAAP口径,即经调整口径,均不含员工股权激励费用、无形资产摊销及因收购产生的递延成本,下同),并汇报创历史新高的GAAP净利润7742万元,同比增长近27倍。总览全年,万物新生总收入同比增长25.9%达到1
    华尔街科技眼 2025-03-13 12:23 47浏览
  • 文/杜杰编辑/cc孙聪颖‍主打影像功能的小米15 Ultra手机,成为2025开年的第一款旗舰机型。从发布节奏上来看,小米历代Ultra机型,几乎都选择在开年发布,远远早于其他厂商秋季主力机型的发布时间。这毫无疑问会掀起“Ultra旗舰大战”,今年影像手机将再次被卷上新高度。无意臆断小米是否有意“领跑”一场“军备竞赛”,但各种复杂的情绪难以掩盖。岁岁年年机不同,但将2-3年内记忆中那些关于旗舰机的发布会拼凑起来,会发现,包括小米在内,旗舰机的革新点,除了摄影参数的不同,似乎没什么明显变化。贵为旗
    华尔街科技眼 2025-03-13 12:30 60浏览
  • 一、行业背景与用户需求随着健康消费升级,智能眼部按摩仪逐渐成为缓解眼疲劳、改善睡眠的热门产品。用户对这类设备的需求不再局限于基础按摩功能,而是追求更智能化、人性化的体验,例如:语音交互:实时反馈按摩模式、操作提示、安全提醒。环境感知:通过传感器检测佩戴状态、温度、压力等,提升安全性与舒适度。低功耗长续航:适应便携场景,延长设备使用时间。高性价比方案:在控制成本的同时实现功能多样化。针对这些需求,WTV380-8S语音芯片凭借其高性能、多传感器扩展能力及超高性价比,成为眼部按摩仪智能化升级的理想选
    广州唯创电子 2025-03-13 09:26 33浏览
  • 在追求更快、更稳的无线通信路上,传统射频架构深陷带宽-功耗-成本的“不可能三角”:带宽每翻倍,系统复杂度与功耗增幅远超线性增长。传统方案通过“分立式功放+多级变频链路+JESD204B 接口”的组合试图平衡性能与成本,却难以满足实时性严苛的超大规模 MIMO 通信等场景需求。在此背景下,AXW49 射频开发板以“直采+异构”重构射频范式:基于 AMD Zynq UltraScale+™ RFSoC Gen3XCZU49DR 芯片的 16 通道 14 位 2.5GSPS ADC 与 16
    ALINX 2025-03-13 09:27 32浏览
  • 前言在快速迭代的科技浪潮中,汽车电子技术的飞速发展不仅重塑了行业的面貌,也对测试工具提出了更高的挑战与要求。作为汽车电子测试领域的先锋,TPT软件始终致力于为用户提供高效、精准、可靠的测试解决方案。新思科技出品的TPT软件迎来了又一次重大更新,最新版本TPT 2024.12将进一步满足汽车行业日益增长的测试需求,推动汽车电子技术的持续革新。基于当前汽车客户的实际需求与痛点,结合最新的技术趋势,对TPT软件进行了全面的优化与升级。从模型故障注入测试到服务器函数替代C代码函数,从更准确的需求链接到P
    北汇信息 2025-03-13 14:43 40浏览
  • 在海洋监测领域,基于无人艇能够实现高效、实时、自动化的海洋数据采集,从而为海洋环境保护、资源开发等提供有力支持。其中,无人艇的控制算法训练往往需要大量高质量的数据支持。然而,海洋数据采集也面临数据噪声和误差、数据融合与协同和复杂海洋环境适应等诸多挑战,制约着无人艇技术的发展。针对这些挑战,我们探索并推出一套基于多传感器融合的海洋数据采集系统,能够高效地采集和处理海洋环境中的多维度数据,为无人艇的自主航行和控制算法训练提供高质量的数据支持。一、方案架构无人艇要在复杂海上环境中实现自主导航,尤其是完
    康谋 2025-03-13 09:53 44浏览
  • 曾经听过一个“隐形经理”的故事:有家公司,新人进来后,会惊讶地发现老板几乎从不在办公室。可大家依旧各司其职,还能在关键时刻自发协作,把项目完成得滴水不漏。新员工起初以为老板是“放羊式”管理,结果去茶水间和老员工聊过才发现,这位看似“隐形”的管理者其实“无处不在”,他提前铺好了企业文化、制度和激励机制,让一切运行自如。我的观点很简单:管理者的最高境界就是——“无为而治”。也就是说,你的存在感不需要每天都凸显,但你的思路、愿景、机制早已渗透到组织血液里。为什么呢?因为真正高明的管理,不在于事必躬亲,
    优思学院 2025-03-12 18:24 81浏览
  • 一、行业背景与需求痛点智能电子指纹锁作为智能家居的核心入口,近年来市场规模持续增长,用户对产品的功能性、安全性和设计紧凑性提出更高要求:极致空间利用率:锁体内部PCB空间有限,需高度集成化设计。语音交互需求:操作引导(如指纹识别状态、低电量提醒)、安全告警(防撬、试错报警)等语音反馈。智能化扩展能力:集成传感器以增强安全性(如温度监测、防撬检测)和用户体验。成本与可靠性平衡:在复杂环境下确保低功耗、高稳定性,同时控制硬件成本。WTV380-P(QFN32)语音芯片凭借4mm×4mm超小封装、多传
    广州唯创电子 2025-03-13 09:24 41浏览
  • DeepSeek自成立之初就散发着大胆创新的气息。明明核心开发团队只有一百多人,却能以惊人的效率实现许多大厂望尘莫及的技术成果,原因不仅在于资金或硬件,而是在于扁平架构携手塑造的蜂窝创新生态。创办人梁文锋多次强调,与其与大厂竞争一时的人才风潮,不如全力培养自家的优质员工,形成不可替代的内部生态。正因这样,他对DeepSeek内部人才体系有着一套别具一格的见解。他十分重视中式教育价值,因而DeepSeek团队几乎清一色都是中国式学霸。许多人来自北大清华,或者在各种数据比赛中多次获奖,可谓百里挑一。
    优思学院 2025-03-13 12:15 47浏览
  •        随着人工智能算力集群的爆发式增长,以及5.5G/6G通信技术的演进,网络数据传输速率的需求正以每年30%的速度递增。万兆以太网(10G Base-T)作为支撑下一代数据中心、高端交换机的核心组件,其性能直接决定了网络设备的稳定性与效率。然而,万兆网络变压器的技术门槛极高:回波损耗需低于-20dB(比千兆产品严格30%),耐压值需突破1500V(传统产品仅为1000V),且需在高频信号下抑制电磁干扰。全球仅有6家企业具备规模化量产能力,而美信科
    中科领创 2025-03-13 11:24 40浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦