以太网和RapidIO之深度比较（上）

随着千兆接口的应用普遍推广，嵌入式应用中的可用带宽也出现了增长。在嵌入式系统中，由于这一带宽突破性的优势的使得出现了两种最常见互连：以太网和RapidIO。

本文比较了两种技术在芯片到芯片、板到板、背板之间或机柜间长达100米的连接状态下所带来的好处。现在采用RapidIO连接的应用已经很常见，如无线基带信号处理、军用计算平台、视频处理和工业控制。当然也有一些采用其他连接应用比如大型数据中心机房内的设备。

RapidIO技术概述

和以太网类似，RapidIO可以在各种介质上实现包交换。RapidIO包最大净荷是256字节，最大总包长为276字节。最有效的RapidIO包格式使用12字节的开销传输256字节的数据，协议效率为95％。RapidIO支持消息和读/写语义，这有助于控制平面和数据平面操作使用相同的物理互连，从而有效地提高效率，简化系统设计。RapidIO协议的设计是要从根本上尽量降低传输延迟。经过优化，RapidIO技可以利用硬件实现。

通过简单的流量控制和错误恢复机制，即使是存在拥塞和传输错误，RapidIO链路也可以保证包的传输。这些机制的实现是采用短的、链路特定数量的所谓“控制符号”。大多数控制符号可以嵌入在包内，以确保可靠的包交换控制回路的延迟达到最小。

RapidIO Gen2规范发布于2008年。RapidIO Gen2比RapidIO链路传输速率增加了一倍，达到了6.25 Gbaud，同时在其物理层中增加了8个新的虚拟通道支持能力。RapidIO Gen2生态系统中最快的、通用端口是一个以20 Gbps运行的四通道端口。逻辑层因支持针对数据流包的基于速率和可信度的流控制而得到了增强。另外，还增加了一个虚拟输出队列背压机制。

在电信领域，RapidIO技术占有主导地位，尤其是在无线基带信号处理方面。此外，RapidIO已在军事、视频处理和工业控制应用中占有显著的市场份额。庞大和不断增长的RapidIO产业生态系统包括了许多交换器厂商(IDT、PMC-Sierra、Mercury等)，这些厂商提供的产品都有大约100纳秒(ns)的延迟。关于这些微小的延迟值将在本文后面予以讨论。

以太网技术概述

尽管最常见以太网数据包的有效载荷仅稍多于1500字节，但以太网数据包最大支持多达9千字节大小(KB)的包传输。以太网的最小包大小为64字节。由于以太网需要软件支持(如传输控制协议TCP)才能提供可靠的传输服务，所以传统意义上的以太网是一种 “有损”传输。尽管以太网包支持比RapidIO更大的有效载荷，其最大协议效率仅略高于97％，原因是基于软件的可靠传递协议需要大报头开销。“PAUSE”包流控制机制一直是以太网终端之间拥塞管理的主要手段。以太网的流量控制机制作为网络层控制协议，为的是根据丢包检测来控制传输速率，因为这是目前在以太网上传输合理吞吐量的最有效的方法。

以太网目前在制定40 Gbps和100 Gbps链路标准。这项工作建立在现有的10 Gbps单通道以太网标准基础之上。

最近，“无损以太网”的概念已经公布。无损以太网针对的是存储区域网络，特别是以光纤通道以太网(FCoE)，所以它也称为“数据中心以太网”(DCE)。无损以太网目前正围绕着以下几个增强功能进行研究，如基于IEEE 802.1p优先级的流量控制(PFC)和802.1au拥塞通知功能。这些增强功能利用了已制定协议规定的包优先级信息，如多协议标签交换(MPLS)和IEEE 802.1Q VLAN。

通过建立链路级流量控制，无损以太网减少了由于以太网互联网拥塞造成的丢包。丢包量的大大降低大幅提高了整体网络传输的效率。拥塞条件下的无损以太网在某种意义上讲采用类似RapidIO的方式进行传输。

虽然以太网产业生态系统要比RapidIO的产业生态系统大得多，但是以太网交换器件供应商仍然只有3家——Marvel、Fulcrum和Broadcom。这些制造商有各种各样的互联网产品。在无损以太网规范的支持下，这些厂商已经宣布了具有亚微秒延迟的交换器。

发现DCE有吸引力的功能的系统设计人员也可以考虑建立一个RapidIO生态系统作为器件来源。同样，DCE的新功能有助于系统设计人员考虑将无损以太网作为某些应用中RapidIO的替代品。

逻辑层的比较

表1对比了RapidIO与以太网技术的比较，它引自“系统互连结构：以太网与RapidIO技术”白皮书获取。

表1：RapidIO与以太网的比较

包格式的比较

表2：数据中心以太网和RapidIO包格式

虽然很明显DCE报头比一个RapidIO包头更大，但在两个包格式之间可能不会有什么明显越来越多的相似之处。

传统的“互联网”以太网包不包括多协议标签交换(MPLS)或虚拟局域网(VLAN)报头，可是许多现代LAN和WAN两者都使用了。互联网以太网包路由是基于TCP/IP头中的IP地址。然而，IP路由是计算密集型，所以可以在路由中使用简单的20位MPLS标签结合12位VLAN标识符。采用MPLS和VLAN路由操作比硬件实现的IP查找成本更低，因为MPLS和VLAN路由操作是利用路由表的检索来执行的，而不是IP路由所需的多序列比较操作。

表检索是RapidIO交换器中路由表操作所需的唯一机制。RapidIO的路由数量称为设备ID，可以是8或16位大小。RapidIO生态系统中的许多交换器的每个端口都有一个路由表。每个端口路由表都为RapidIO交换器提供了类似VLAN的功能。

两种包格式之间的最大区别是其最大包大小的不同。常见的互联网以太网包大小约为1500字节。巨型包可以超过9000字节。然而，最大的RapidIO包却只有276字节。尽管在包大小方面存在差异，但整体协议效率却大致相同：互联网以太网为97％左右，而RapidIO大约为95％。

如表1所示，以太网和RapidIO均支持类似的功能。两者都支持读/写和消息语义，但RapidIO支持读/写语义的效率远远高于现有的基于以太网的协议。消息功能使这两种技术都可以支持其他协议封装。例如，RapidIO已经用来作为一种标准做法：采用消息和/或数据流包类型，将以太网包封装在RapidIO结构上。

{pagination}

“无损”性能的比较

RapidIO可保证各个链路上的包传送。在100米10 Gbps光链路的情况下，可以用三个控制符号的交换完成恢复，这可能在约2.5微秒内完成。对于一个芯片到芯片的连接，交换可以在300纳秒之内完成。

无损以太网有些名不副实，因为包仍有可能因传输错误而丢失。因此，“数据中心”以太网仍然需要卸载引擎和/或软件栈，这些都将增加消息传递的延迟。例如，FCoE的错误恢复是由光纤通道协议提供的。因此，错误恢复的延迟大大高于RapidIO。如此高的延迟对系统资源的使用率和性能都会产生重大影响。

以太网市场变革：互联网技术和数据中心技术

无损以太网的创立代表了以太网社区方向上的一次重大变革，并将以太网市场分割为互联网技术和数据中心技术。互联网利用网络层流控机制获得更高的吞吐量，而不是链路级流控。覆盖地球的网络的延迟，以及网络拓扑结构的复杂性和不可预测性，使网络级流控成为了流控机制的最有效形式。绝大多数以太网技术都是互联网以太网。

互联网以太网技术依赖于交换机和路由器平台形成的重大处理能力。在交换机和路由器平台中，网络处理器单元(NPU)被用来“整形”通讯数据包流量，以满足服务级别协议和实现网络协议，如MPLS网络。图1显示了一台典型的互联网以太网交换设备，它也可以是一台路由器。

图1：互联网路由器框图

互联网路由器由若干线卡组成，每个线卡都连接一个冗余交换结构。这些线卡的执行功能受本地控制平面处理器的控制，每个线卡都连接到主控平面处理器。每个线卡都包含一个NPU，当收到执行安全、服务级别协议流量计量和优化网络带宽的整形流量时，NPU负责以太网包的分类和调度。包报头可能会被协议标记修改，如在MPLS和VLAN中那样。如果一个包因为这些报头的修改而变得过大，该包可能被分成多个包。然后，这些包通过交换结构发送到另一个线卡，无论包是否被传送。所有这些功能都需要在基于互联网以太网的网络上提供可靠的吞吐量。虽然现代NPU可以以输入数据线速来进行传入的包流的复杂分析，但这显然增加了包传输的延迟。

请注意，在一个互联网路由器或交换机平台内，芯片之间有某些“短程”连接。这些低延迟的短距离连接可以通过简单的流量控制机制来加以利用，以最大限度地减少丢包。然而，即使是10 Gbps的连接，一个以太网暂停包延迟对处理短延迟都显得太长了，因为在未考虑PHY和处理延迟情况下，一个暂停包需要60多纳秒来传输。正是由于这个原因，互联网以太网交换机和路由器的领导厂商在其平台当中都不使用以太网作为独有的互联技术。相反，串行外设互联(SPI)、Interlaken和RapidIO等互连标准都集成了低延迟流量控制机制，以确保在不丢包的同时实现高效的包传输。

在数据中心网络内，比如由提交文件修改和确认数据传输等控制功能造成的网络延迟，可以用来表征许多系统能够提供多少能力 的真正限制。同样，针对服务器负载平衡功能的控制系统延迟可以决定整个系统的效用和效率。

在许多数据中心平台中，板卡连接使用的是交换芯片，而不是一个交换机或路由器平台。处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)和NPU使用一个由多个交换芯片组成的交换矩阵相互连接。交换矩阵利用单一的互连协议有效地连接多个芯片、板卡和机箱。这种做法可以在数据中心平台内实现较低的延迟、更高的性能、更低的功耗和更低的成本。诸如此类的原因使EMC公司采用了RapidIO作为其V-Max高性能存储产品的连接架构。

许多互联网以太网交换芯片能够支持交换机和路由器平台的功能。然而，较低延迟的数据中心以太网交换机无法支持。因此，要由直接连接到数据中心以太网交换机的设备来提供这些功能。这是体现了大多数消费互联网以太网技术特点的简单发送和接收架构的重大转变。

无损以太网的出现发出了以太网市场分化成互联网以太网和数据中心以太网设备的信号。其含义在于，数据中心以太网设备无法享受与互联网以太网设备相同的经济规模效益。

(本刊下期将刊载该文下半部分，对两种互联技术在吞吐量、延迟和流控制等方面进行比较。)

作者： Barry Wood

IDT公司