【光电通信】拆解Marvell800G光模块

今天，我们有一个非常有趣的东西：看看 Marvell COLORZ 800。这是一款长距离 800G ZR+ 光学模块，采用标准 OSFP 可插拔外形尺寸，但可以在 800Gbps 的速度下达到 500 公里或 1000 公里以上。它甚至可以调整为允许在高达 2500 公里的距离上进行 400Gbps 通信。我们在 Marvell 实验室幕后了解了这种相干光学技术的工作原理，并想向您展示他们如何实现这一点。

如今，数据中心的规则基本上是：尽可能使用铜线，当距离太远时，就使用光纤。如果您看一下NVIDIA GB200 NVL72之类的产品，就会发现其最大的创新是能够使用后端的铜线将 72 个 GPU 和交换机互连。

电缆长度约为 3 米后，由于信号完整性，高速线和铜线根本无法混合。

虽然铜线通常可以到达机架内和相邻机架，但光学模块可用于跨越更长的距离。然而，有一个问题。光学模块使用不同的技术以不同的速度跨越不同的距离。

运行速度为 10Gbps 或 100Gbps 的短距离光模块的制造成本比运行速度为 400Gbps 或 800Gbps 的长距离光模块低很多，这在很大程度上是因为技术的复杂性在不断提高。

另一个方面是光学模块的外形尺寸。

CFP 样式的外形尺寸模块在电信应用中更常见。在数据中心，我们倾向于看到用于低端应用的小型 SFP 模块和用于高速应用的大型 QSFP 模块和 OSFP 模块。即使是常见的 AI 基础设施 NIC（如NVIDIA ConnectX-7 400GbE适配器）也使用 OSFP。今天我们讨论的是 Marvell COLORZ III 800G ZR+ OSFP 模块。OSFP 提供了更大的模块标准，具有电源、冷却功能，更重要的是，提供了处理所有组件所需的空间。它看起来像这样：

简单来说，一方面，模块从设备获取电信号。

在另一端，我们有光纤电缆插入的光发送和接收端。

虽然这听起来很简单，但金属外壳内部却发生了神奇的事情。电信号变成光信号，而光信号又转换回电信号。我们将在相当高的层次上讨论内部发生的事情，以便许多人能够跟上。

接下来，让我们向您展示 OSFP 外壳内部的情况以及其工作原理。

事实证明，光学模块内的组件放置非常重要。一个组件的放置位置哪怕相差一毫米，都会对其运行产生很大影响。通常，对于这些高端模块，公司都不喜欢我们拆开它们。相反，我们看到了 Marvell 的实验室演示，它就像是那个小型金属 OSFP 外壳中的东西的放大版。

当然，像这样布局的大电路板不适合放入联网设备中，所以这个很酷的另一个部分不仅仅是能够制作 400Gbps 2500km 或 800Gbps 1000km 通信模块，还能够将其封装成标准可插拔外形模块。

看一下这个平台，你首先会注意到的是短 DAC。这是 800Gbps 电信号端。

这是从另一侧看到的开发板的视图。

您可以将其想象为您在此处看到的模块的电气方面：

第一站是经过 Marvell Orion DSP。这是电气端和光学端之间的组件，用于清理信号。

为了让您了解一下，这里是 Marvell Orion DSP 及其所处的 COLORZ III 800G ZR+ 模块。该 OSFP 模块位于老一代 COLORZ II (400G) 和 COLORZ I (100G) 可插拔模块之上。

这些 DSP 非常出色，因为它们需要在空间和功率非常受限的环境中完成大量工作。虽然普通的 10Gbps 或 25Gbps NIC 芯片是采用明显更老的工艺技术制造的，但这些 DSP 是采用 5nm 工艺制造的，以便在 OSFP 模块占用空间的功率和空间限制下进行处理。

从 DSP 开始，发送信号到达 CDM 或相干驱动器模块，它是下方两个金色/黄铜色盒子中较小的一个，其中连接了单根光纤。

作为示例，我们不会深入介绍 PIC 的工作原理，但在那个小盒子里，我们拥有使用激光光源、调制器和其他组件将电信号转换为光信号所需的组件。在盒子的一端，我们输入电信号，在另一端，我们将光输出到光纤束上。这就是此演示板上的传输端。

此时，您可能会猜到左侧稍大一点的盒子是接收端，称为 ICR，即集成相干接收器。如果您经常使用单模LC电缆和光学器件，您会立即注意到：接收端有两根光纤电缆。这就是这项技术比仅进行直接检测（“有光还是没有光”类型的分析）的低成本和低速光学器件稍微复杂一些的地方。

电路板上不仅有一条接收端光纤，还有一个本地振荡器，可将第二个信号馈入 ICR。可将其视为参考信号。ICR 内部是一个 90 度混合器，这是一种无源元件，有助于保持相位和幅度信息等。ICR 还装有光电探测器，用于接收光信号，然后在另一端产生电输出。电信号通常很弱，因此我们有一个 TIA 或跨阻放大器，用于从光电探测器获取微弱电流并添加可测量的电压。可将其视为电气侧的放大器。

通常，这些组件也需要冷却，因此参考板看起来更像这样：

即使是参考激光源也需要散热器。当我说我们设法进入实验室时，你也可以看出，这确实是一个实验室环境。

然后，来自 ICR 的电信号可以被输入到电气侧的 Orion DSP 中。

这样我们就完成了电气方面和光学方面的全面循环。

这里不必低估，但这个开发平台的每一侧最终都在 OSFP 外形尺寸内进行封装和冷却。

除了硬件之外，我想快速了解一下我们为什么需要参考激光信号以及直接检测和相干检测之间的区别。

作为文章的一部分，我的一个想法是探讨低端低成本光学器件中常用的直接检测与相干检测之间的区别。

那些需要深入研究数学和物理的人可能已经知道了。许多信号检测都围绕着相当简单的信号是否存在。我们可以在一个非常简单的 10Gbps 模块中将其视为“有光还是没有光？”这有许多相当简单的 2D 表示，以及一些更复杂的编码方案，我们经常在实验室中看到如下所示的眼图（来自我们2019 年英特尔硅光子学部分，该公司出售了这项业务。）

相干检测要复杂得多，因为你可以用光做很多更奇特的技术。相反，我们可以看到信号的“星座”。这两张图都显示了 X 和 Y 偏振，所以我们有 16 个星座。

这就是为什么拥有本地振荡器参考很重要。对于更复杂的编码，我们需要该参考提供的附加信息。

如果您对直接检测与相干检测感兴趣，那么有很多论文对此进行了详细介绍。对于 STH 观众来说，我认为最重要的一点是，尽管 800G ZR+ OSFP 模块看起来就像一个稍大一点的 100G SR4 QSFP28 模块，但内部情况却大不相同。

因此，这里最大的问题是：“为什么这一切都很重要？”一个简单的原因是，有时仅出于成本和弹性目的，跨地域部署数据中心是有利的。能够直接从交换机连接到 1000 公里或更远的另一个数据中心，使组织能够在成本更低且稳定的托管站点上容纳更多基础设施。此外，如果您只有两个地理位置相距遥远的校园，那么以 400Gbps 到 800Gbps 的带宽跨越这两个校园可能会改变游戏规则。

但实际上，当今可插拔光学器件的最大驱动因素之一是 AI 数据中心的建设。该建设受到电力限制，因此我们看到数据中心运营商专注于获取电力。计划在现有发电厂旁边建立大型数据中心，为数据中心提供新的电源等等。最大限度地减少传输损耗有助于最大限度地提高可用于计算的功率。挑战在于集群需要如此多的电力，以至于答案可能不再是单个站点。

我们经常听到的想法是，将多个数据中心设在电力旁边，而不是将计算集中到一个园区。有趣的是，这也是 2010 年代中后期许多加密货币矿工正在研究的。不同之处在于，矿场不需要高带宽和低延迟的相互访问。人工智能集群需要。

这个想法是，在可用电源附近的多个站点上构建大规模集群可以节省电力传输损耗和成本，但也可能更简单。人们不必许可和建造大型电源，而是可以点燃暗光纤或铺设额外光纤以在几个较小的电源处桥接集群。

因此，简单的答案是，这些模块允许组织使用通用的可插拔光学模块（而不是专用的 DCI 盒）以相对便宜且轻松的方式点燃跨越长距离的快速链路。也许更令人兴奋的是能够实现 AI 资源的大规模地理分布的想法。

我们经常看到可插拔模块，它们看起来像金属外壳。从这个角度看，很难说出为什么一个比另一个更复杂。

希望通过观察高端模块内部的情况，可以了解这些可插拔光学器件内部的复杂程度。我们研究了一个简单的低成本 100G SR4 光学模块，它与 800G ZR+ 光学模块有很大不同。原因是，尽管它们看起来相似，但 COLORZ III 模块在 10,000 倍的距离上传输 8 倍的数据速率。也许这就是为什么我第一次看到它时认为这是一个很酷的演示。

有些人从上文中可能已经看到我们还拆开了 100G QSFP28 DAC和 100G SR4 QSFP28 光模块。我们认为有必要向大家展示模块内部的情况，因此本文将展示 DAC 外壳内部的情况。

我们要打开的电缆标有英特尔 DAC。这是相当典型的 QSFP28 DAC，其一端有电连接器，另一端有电缆。

拆开外壳很容易。有些外壳，比如这个，使用简单的螺丝将它们固定在一起。有些外壳使用更难拆开的连接方法。我们建议，如果您自己拆开外壳，请尝试使用易于拧紧螺丝的外壳。另外，请注意 QSFP28 固定机制通常有一个弹簧。众所周知，打开这些外壳时，弹簧会从工作台上弹起。

在外壳内部，我们可以看到 PCB 非常简单。事实上，你实际上可以看到 QSFP28 连接器和电缆内部电线之间的许多走线。

该模块具有带屏蔽的粗线，长度与 DAC 相同。每根线都有一个编号，这可能有助于制造。然后将连接和线的起始处包裹在某种树脂或环氧树脂中，以确保它们不会从 PCB 上的焊点上脱落。然后我们得到一些铜带和带有弯曲支撑的柔性电缆出口。两侧看起来非常相似。

仅供参考，这是低成本 QSFP28 100G SR4 DAC 内部的组装，仅是 PIC 侧。光纤的对准必须更精确，光子到电路比 DAC 内部复杂得多。

大多数人永远不需要查看 DAC 内部。它们设计为即插即用，无需任何维护。同时，我们认为我们应该将一端的外壳取下，以便人们可以看到它们的工作原理。我们至少应该指出，这些是无源电缆。有 AEC 或有源电缆，其电缆连接器中有有源重定时芯片，可帮助提高信号质量，高速信号通过铜线传输得更远。这些 AEC 有点复杂，耗电量更大，成本也更高。不过，当我们谈论 DAC 设计相对简单时，希望这些照片能帮助您有所了解。

申明：感谢原创作者的辛勤付出。本号转载的文章均会在文中注明，若遇到版权问题请联系我们处理。