随着有越来越多汽车厂商开始将不同的传感器整合到先进驾驶辅助系统(ADAS)/自动驾驶车辆，他们通常都会认同“传感器融合(sensor fusion)”是高度自动化驾驶安全性的关键。
但不为人知的是，这些厂商所采用的数据──是原始(raw)数据或经过处理的数据？──细节，以及他们在融合不同种类传感器数据时面临的挑战；如市场研究机构Strategy Analytics汽车市场分析师Ian Riches所言：“目前的传感器融合并没有在原始传感器数据上完成，通常每个传感器都会进行自己的本地处理。”
EDA供应商明导国际(Mentor Graphics)将在近日于美国底特律举行的年度SAE World Congress汽车工程师大会上，展示如何将来自不同传感设备──雷达、光达、视觉或超音波…等等──的原始资料实时融合，以实现在传感精确度以及整体系统效益上的大幅提升。
Mentor Graphics正推出名为DRS360的自动驾驶平台，号称能将来自所有系统传感器之未经过滤的信息直接传送到一个中央处理单元，然后将那些原始传感器数据在各个层级实时进行融合；该公司副总裁暨嵌入式系统部门总经理Glenn Perry接受EE Times采访时，比较了“传感器融合”与“原始资料融合”的不同，指出两者之间存在着“微妙却非常重要的差异”。
一般来说，提供给汽车厂商的传感器是模块化设计，以预先处理数据；Strategy Analytics的Riches解释：“举例来说，从摄影机传送至融合系统的数据并不会是实际的影像数据，而是对影像中重要区域的描述──像是哪里有一条白线、哪里有一辆车、哪里有交通号志…而所有的融合在这时候才以那些较高层级的数据进行。”
*以来自不同传感器模块经处理之数据进行的传感器融合流程
（来源：Mentor Graphics）*
Mentor认为，摆脱各个终端节点使用之传感器模块的预处理微控制器，选用原始资料，能让ADAS/自动驾驶车辆的设计工程师大幅提升实时性能，并降低整体系统成本与复杂度；此外也能利用所有撷取到的传感器数据，为车辆所在环境与驾驶路况建立最高分辨率的模型。
DRS360是一款可开发符合ISO 26262 ASIL D标准之系统的平台；Mentor的Perry指出，该平台以赛灵思(Xilinx)的Zynq系列FPGA处理原始数据融合，搭配负责ADAS或自动驾驶功能的SoC (可以是ARM或x86架构)，以及一颗MCU (例如英飞凌-Infineon的安全微控制器)。
*DRS360平台能提供集中化的原始数据融合
（来源：Mentor Graphics）*
产业顾问机构Vision Systems Intelligence创办人Phil Magney表示：“传感器融合是一项复杂的任务，用原始数据会更难；”他解释，“原始数据融合能更有效率地让运算资源在集中化的系统中整并，不过在算法的整合上面临更艰难的挑战。”
为何原始资料融合很困难？
原始资料融合难在哪里？Mentor的Perry表示，首先是每个传感器会产生数据流，而且是以不同的画面更新率、不同的采样率以及间隔时间：“这是一个异步(asynchronous)系统；”其次，不同类型的数据：“需要被统整为一致性的表述(cohesive representation)。”
例如摄影机的原始影像(2D)、光达的点云(point cloud，为3D)以及雷达的ADC输出，这些都必须被融合到符合时间/空间的3D环境图；而第三，如Perry所言，必须要被统整的：“是真正很庞大的数据流。”针对未指明的3D数据集，Mentor还开发了取得专利的算法，能实现将光达的空间位置数据、来自雷达的车辆速度数据，以及视觉设备的物体侦测数据之融合。
Perry表示，过去在分布式的传感器数据模块中，每个传感器通常会丢弃一大堆资料；但集中化的解决方案采用未过滤之传感器数据，能确保精确度与可靠度的强化；他强调Mentor花费两年的时间进行该平台的开发：“对于系统效益的改善，我们自己都很惊讶──包括延迟的降低与处理性能的增加，都是由原始数据融合的算法所实现。”
而产业专家认为，原始资料融合可望在未来催生更“开放”的智能车辆平台，取代目前比较像是“黑盒子”的方案。
产业顾问机构Vision Systems Intelligence创办人暨首席顾问Phil Magney将原始传感器资料融合称为“产业界的发展方向”，他认为：“其他的技术进展也能搭配原始数据融合；举例来说，神经网络将能因为不同来源的原始数据而提升性能。”
而分析师们也认为，Mentor Graphics之DRS360平台相对较大的“开放性”，会是其优势之一；如Strategy Analytics分析师Ian Riches表示：“该平台能提供一线汽车零组件供应商或车厂最大的灵活性，来设计他们自己的解决方案并带来自有价值。”
Riches进一步指出，现在像是Mobileye的系统通常就是个“黑盒子”，一线汽车零组件供应商要利用其方案打造自己的产品，就不得不用成本来竞争，因为他们无法自己调整系统的核心算法，Mobileye将算法视为IP。
不过DRS360无论在使用的芯片或是执行的算法上都有弹性，Magney表示：“到目前为止，大多数ADAS应用程序都是透过对象数据(object data)来完成，也就是传感器模块会做所有事情，例如侦测并针对场景中的相关对象进行分类。”
Maney同意Riches的说法，认为Mobileye的解决方案就像是“黑盒子”；而他进一步指出：ADAS应用程序是可以采用“边缘处理(Edge processing)”，但对车辆来说，将处理程序整并在一起更实际。
DRS360的可扩展性也很重要，厂商可以不必为不同ADAS或自动驾驶车辆各自开发平台，而是以DRS360平台进行扩充，开发自己的解决方案；许多车厂认为这才是利润所在。
但是一个平台有FPGA又有SoC与MCU，对厂商来说在成本上负担不会太大吗？Riches并不认为：“一辆车子会有大量的标配ADAS功能与传感器，像是DRS360这种集中化的架构在理论上反而能省钱；”他解释：“没错，你需要添加中央控制器，但可以不必在每个传感器配备搭配车辆的多个较小型处理单元。”
谁能因为采用集中化平台而获益？
Strategy Analytics的Riches表示，对于希望最终产品包含自家独特IP的厂商来说，DRS360平台可提供显著优势，但这对于想要统包式(turnkey)解决方案的人来说却是缺点，因为意味着要让产品上市，得做更多事。
Mentor Graphics副总裁暨嵌入式系统部门总经理Glenn Perry表示：“每家厂商──无论他们是不是专家──都会有特定需求，需要某些客制化元素；”在这方面，他认为DRS360可以满足那些需求，如果车厂真的没有专家、不知道该怎么找到想要的功能，一线汽车零组件供应商就可以利用该平台自行做技术上的调整，再提供给车厂。
另一家市场研究机构IHS Markit的汽车电子市场首席分析师Luca De Ambroggi认为，DRS360对供应链上许多厂商来说都有利，从正在寻找开发平台的系统业者到芯片供应商，还有那些不想或不能自己开发软件、系统安全性或AI等功能的人。
跟芯片供应商抢生意？
但最大的问题是，Mentor推出DRS360平台是准备跟Mobileye/Intel与Nvidia等积极抢进汽车市场的芯片厂商抢生意吗？
对此Riches指出，传感器模块可能是受冲击最大的厂商，因为很多这些业者是以搭配传感器的处理性能与算法做为产品附加价值，但DRS360平台的集中化架构，让传感器厂商被“降级”，只需要提供原始数据。
“Mentor不是芯片供应商，我猜他们也会保持平台的非关芯片，但或许Mobileye/Intel与Nvidia的想法会不一样；”IHS Markit的De Ambroggi表示，Mentor的观点是从架构与设计支持、软件平台出发，并非是推销特定芯片。
*DRS360平台的集中化原始数据融合流程
（来源：Mentor Graphics）*
Mentor的Perry坦承，在中央处理原始数据融合，芯片供应商可能有自己的方法，例如利用GPU的TFLOP等级处理性能：“通常是拥有硬件与深度学习软件的人，会有做这种生意的动机；”他表示，Mentor认为DRS360与其他解决方案的差异，在于能以最少的处理性能做到原始数据融合。
虽然对于透露DRS360平台以FPGA、SoC与MCU实现的处理性能细节有所顾虑，Perry声称该平台能打造全自动驾驶车辆，而且仅需100瓦的功率；具体来说，他指出FPGA功耗约24瓦，两颗SoC各15瓦，安全微控制器功耗则是5W。
Perry并指出，采用FPGA执行原始数据融合算法，是因为其高性能与高容量，能直接处理原始数据，数据封包不需要从内存进进出出；此外：“你可以直接将FPGA与来自不同类型的传感器数据流链接，这是有弹性的，能适应供应商指定的不同种类传感器实体接口。”
Strategy Analytics的Riches表示：“对ADAS/自动驾驶车辆来说，这种弹性会很实用，而且因为传感器并没有标准组合，移动那些传感器数据的标准方式也还没出现。”
编译：Judith Cheng
本文授权编译自EE Times，版权所有，谢绝转载
关注最前沿的电子设计资讯，请关注“电子工程专辑微信公众号”。
