智能网卡：革了CPU的命！

    记得多年前读过一本书《创业国度》，虽然上面的主要讲的那个换电池的电动车公司好像没有大红大紫，但是书中讲的犹太人的教育以及对于创新的执着的确印象很深。

    最近几年发生在以色列的，比较的两个并购就是mobileye 被Intel收购，以及mellanox被Nvidia收购。当然还有很多，例如E8， AnnapurnaLabs，HabanaLabs[1].

    虽然发生在一年前的Mellanox+Nvidia的并购案并没有尘埃落定，但是Mellanox的技术和员工就和每次并购发生之后一样，像蒲公英一样把种子撒到了更多的公司。HabanaLabs， lightbit，以及更多的公司会把RDMA技术进行普及。

    在最近的ASPLOS20的会议上就有一个非常有意思的session， “Session 2A - Lynx A SmartNIC-driven Accelerator-centric Architecture for   Network Servers” ，对的，这个标题太劲爆了，SmartNIC，Accelerator, Servers, 这个不是我们这个主题讲的嘛？这 里，还是要为ASPLOS打call的，主要原因是ASPLOS的网站上，不仅有每个session的标题，更重要的有一个非常点睛的副标题!. 特意对比了19年的，就没有，这个可能是因为新冠病毒的原因取消后，会议组织者过意不去给大家的彩蛋。

ASPLOS是“Architectural Support for Programming Languages and Operating Systems”，我曾在西安参见了2017年的那次，最大的感觉就是整个会议还是以软件为主。毕竟PL和OS都是软件为主，但是大家看看今年的session，很难讲是软件为主了。相对于2017年，现在越来越多的人在强调软硬协同，这个会议的基本上就反应这个主题。毕竟，软件和硬件的GAP的确有点大。[2]

 回到这个Lynx的session，作者在两个平台实现了Lnyx的框架：

为了体现accelerator-centric，作者革了X86的命.

通过PCIE P2P在各个加速器之间进行数据传输。听过RDMA加速数据路径，TCP来做控制路径。

当然，这里面在不做任何硬件改动的情况下的加速效果就很明显：

然后，作为就展开联想，使用这个框架来跑M$D (memcached), 基本也效果很好。

其实，就和上面的图灵奖讲座的图一样，主要不用中断，不做CPU切换，使用并行化，对就和上节的DPDK一样，效果都肯定不错。

这一点，在Session6A Managing the Beast 中的Aliyun的论文中也有体现。

但是代价也很明显，就是需要更多的CPU的消耗。为什么，因为传统的中断，或者spinlock的代价太大了。[3] 因此，大家就可以理解Lnyx的思路了，既然X86 CPU的消耗那么大，就不用CPU好了，不让它在数据路径上，或者说找个代价小的CPU专门干这个好了。

    上周，有一个做网络的朋友在问，为什么DPDK在国内这么流行，明明很多事都是用嵌入的CPU都可以做，比如之前的ARM，现在的RISC-V。这个问题也很有意思，也很难回答。毕竟大家在Andy-Bill定律[4]的照料下，过了那么多年，变化是需要时间的。现在还在挣扎的ARM server就是个例子。往往这个时候需要非技术因素以外的影响力。

    最近的HPC的领域的事情就有意思，美国E级超算的三大单子把Nvidia和IBM彻底排除了。AMD成为最大的赢家，在新闻中特意讲了AMD的软件生态问题，他们会有大量的预算在帮助AMD构建和CUDA一样的生态。[5]

对比RDMA和TCP的生态也一样：虽然熊猫教授他们移植了近百种应用到RDMA上，但是RDMA或者说RoCEv2的编程难度还是很高。和DPDK一样，RDMA也在中小企业中鲜有部署。其实，包括对于Virtio的支持，vRDMA，华为欧洲也有研究的[6]。

因此，希望Mellanox的员工们可以像种子一样散布在更多的地方，为RDMA的生态做贡献。比较好的一点就是，一个做Lustre的一个朋友也问起了libfabric的事.[7] 

[1]https://www.calcalistech.com/ctech/articles/0,7340,L-3776489,00.html

[2]https://dl.acm.org/doi/10.1145/3282307

[3]https://netdevconf.info/0x13/session.html?talk-bottlenecks

[4]https://en.wikipedia.org/wiki/Andy_and_Bill%27s_law

[5]https://www.eetimes.com/amd-wins-cpu-and-gpu-slots-in-hpe-crays-el-capitan/

[6]https://www.mikelangelo-project.eu/technology/vrdma-virtio-remote-direct-memory-access/

[7]https://ofiwg.github.io/libfabric