传感器融合，困难重重

全自动驾驶汽车的关键，是要将多个传感器的输入融合在一起并做出安全可靠的决策，但事实证明，这比最初想象的要困难得多。

目前的问题包括：如何对不同类型的数据进行分区、优先级排序和最终组合，如何构建车辆内的处理架构、以便车辆能够根据这些不同的数据类型做出决策。

对此，Siemens Digital Industries Software混合物理和虚拟系统、汽车和军用航空副总裁 David Fritz 提出了三种解决方案：

一种方法是在处理之前，就融合来自多个传感源的原始数据。虽然这种方法可以降低功耗，但一个传感器阵列的不良数据可能会污染其他传感器的良好数据，从而导致不良结果。此外，大量原始数据的传输还带来了带宽、延迟和系统成本等其他挑战。

第二种方法是对象融合，其中每个传感器处理数据并将其特定于传感器的处理结果表示为对其检测到的内容的解释。这具有无缝集成机载传感器结果的优点。这种方法的挑战是各传感器的通用表示和标记，如何在不同的车辆和基础设施之间共享。

第三种选择是前两种方法的混合。在这种方法中，物体可以被传感器检测到，但不会被分类。在这种情况下，物体的点云被传输到机载中央计算系统，该系统对来自内部和外部不同传感器的点云进行分类（标记）。可以降低带宽和延迟要求，降低了传感器的成本和负载，并允许车辆解释或分类。

当然，整个汽车生态系统中的讨论才刚刚开始，还有很多挑战需要克服。

Arteris IP业务开发副总裁 Frank Schirrmeister 表示，“你需要弄清楚你拥有哪些对象，以及何时使用它们，” “所有的格式都非常不同。如果您正在研究激光雷达，就会发现一些有趣的带有距离的地图。即使在关联和融合所有这些内容之前，也需要以某种方式理解这些格式。从架构的角度来看，这可能导致最需要在传感器处或靠近传感器处进行处理。然后，在不同位之间完成对象关联。但你需要弄清楚细节，比如物体有多热、物体有多远等。这些不同传感器的维恩图具有一组重叠的特征，其中一些比其他传感器更好。”

传感器融合是一个快速创新的领域，得益于算法的不断改进和芯片行业对 SoC 架构的深入了解。传感器融合的一个共同点是需要异构处理方法，因为它需要结合信号处理——通常使用 DSP、专用加速器上的人工智能处理以及使用 CPU 的控制代码。

传感器融合在汽车领域受到广泛关注，对于其他市场也很有用。因为摄像头、雷达中将会有图像传感器，或许还有激光雷达。机器人应用中还可能有图像传感器和 IMU。可能有多个图像传感器。其他传感器包括陀螺仪、磁力计、加速度计，这些传感器在许多不同的领域以多种不同的方式使用。虽然汽车方面备受关注，但家用扫地机器人也使用相同的图像传感器和雷达传感器。它可能具有与无人机非常相似的架构。任何类型的无人驾驶车辆都具有此类传感器。

传感器融合同样需要有大量数据流入。弄清楚在哪里处理所有数据是一个挑战，部分原因是并非所有数据都采用相同的格式。

这里存在经典的边缘计算情况，如何平衡整个链条的处理：从模拟世界获取数据的地方，到在大脑中做出决定或与驾驶员交互的地方混合使用模型，但是热雷达、激光雷达和雷达都使用不同的类型来表示数据，将这些全部关联起来当然不是一件小事，并且可能需要大量计算。更重要的是，还需要确定不同的项目是否一致，如何取值。

当谈到数据的实际融合时，西门子弗里茨观察了多种方法。“在早期的一些尝试中，NVIDIA 迅速起步，他们说，‘我们可以做很多人工智能的事情。当传感器数据传入时，我们可以使用高端 GPU，尝试降低其功耗，然后使用神经网络对其进行处理。” 这就是几年前我们在后备箱中安装一个必须进行水冷却的机架的原因。然后，激光雷达人员会说，‘我知道你不能为每台激光雷达支付 20,000 美元，所以我们正在努力让激光雷达更便宜。

“我有原始激光雷达数据。我有原始相机数据。我有雷达、激光雷达、摄像头。我如何将所有这些放在一起？人们做了一些疯狂的事情，比如将激光雷达数据转换为 RGB。“我们有多个帧，因为有距离信息。然后我们将通过最简单的卷积神经网络运行它来尝试检测对象并对它们进行分类。这就是事情的严重程度。但有些人仍在尝试这样做。”

相比之下，特斯拉仍然主要依赖摄像头数据。弗里茨说，这是可能的，因为立体相机的功能，甚至是单声道相机中固定时间段内的连续帧，使用视差来确定深度。“正因为如此，他们说，‘为什么我需要激光雷达？因为我没有激光雷达，所以我没有传感器融合问题。它只是简化了事情。但是假设相机上的镜头被水或污垢覆盖。他们有这些问题需要担心。在极端的另一端，如果你完全依赖激光雷达，我见过这样的场景：你有一个人穿过街道的 2D 表示，而汽车认为这是一个真人。为什么？因为反射。激光雷达发生了各种各样人们不知道的事情。

融合不同的数据类型还取决于存在的传感器类型。“人们正在谈论早期、中期和晚期融合”。Cadence 的 Desai 说。“这一切都取决于我们的客户和我们客户的客户的系统设计，这表明他们正在尝试解决什么类型的问题。我们对其中一些事情是不可知的，因为立体传感器可以进行早期融合或后期融合，因为你的图像和数据都已经识别了物体，并且你可以对其进行后期融合。还可能存在中间融合，这更像是系统供应商选择他们想要如何进行融合，他们想要做多少计算，信息有多强大，或者他们试图解决什么类型的问题解决。这有多难？嗯，这取决于融合的类型。”

不同的融合选项。来源：Cadence

Desai 说，另一个需要考虑的因素是何时使用它们，或者经典 DSP 是否更合适，尤其是在人们对 AI/ML 技术高度关注的情况下。“我将我们过去所做的一些事情与我们今天所做的事情进行了比较。在某些问题上，你可以通过某种确定性的方式利用人工智能实现非常高的成功率。

此外，很多时候，使用人工智能引擎时，进入人工智能引擎的数据必须经过预处理，这意味着它必须采用特定的格式。即使使用AI，我仍然需要做数据的预处理和后处理。

随着汽车原始设备制造商和系统公司将其计算架构向传感器融合发展，实验将成为一项要求。

西门子的弗里茨认为，在这个进化时期，处理开发的正确方法是雇用和/或组建一些小团队来进行大量试点项目。“

尽管如此，每个 OEM 目前的处境仍取决于 OEM、他们进行架构开发的时间以及他们未来希望如何做到这一点。

“不同的原始设备制造商拥有不同水平的专业知识。有些人正试图加强他们的团队来解决这个问题，”弗里茨指出。“大多数原始设备制造商都有一点‘不是这里发明的’综合症，他们认为自己可以做到这一点，因为他们有很多聪明的人。问题是，您是否要将 ECU 从 100 个增加到 200 个，并使车辆的重量增加一倍？换句话说，他们现在的员工中往往没有全面思考这个问题的人。他们的想法是，“我有一把锤子，因此这一定是一颗钉子。” 然后他们就惨败了。”

与大多数新技术一样，开发人员认识到他们需要一个适合自己 CPU 的编译器，因此他们尝试构建自己的编译器。“然后他们发现他们认为可以做到的两个人却做不到，并意识到他们还需要四个人，然后，再需要一两个人，”他说。“到最后，他们对它投入了如此多的感情，很难消灭它，而且这种情况会永远持续下去，直到最后他们最终购买了他们需要的芯片并解雇了 100 名内部开发人员。这种情况经常发生，在汽车领域也不例外。