6个关于ADAS/AV感知的趋势

在比利时布鲁塞尔(Brussels, Belgium)举行的AutoSens 2019车用感知技术大会不乏技术创新。但技术开发商、一线供货商(Tier-1)和OEM仍在探索所谓的“强大感知”(robust perception)技术，以便能够因应黑夜、浓雾、风雪、冰封和油污等任何道路状况。

尽管汽车产业尚未找到一剂通用的灵丹妙药，但许多公司已推出其新型感知技术和产品概念了。

GM刚推出的Cruise最新测试车型装配了多种传感器，如图中红色部份所示。（来源：Cruise）

今年AutoSens大会的重点聚焦于先进驾驶辅助系统(ADAS)，比起自动驾驶车(AV)还更引发关注。

显然地，工程领域已经不再否认，目前可能达到的技术距离最终推出人工智能驱动(AI-driven)的商业化自动驾驶车(真正的无人驾驶)之间，还存在着巨大的差距。

但这并不是说自动驾驶车无法实现。VSI Labs创办人兼总裁Phil Magney预测，“第四级(Level 4)自动驾驶车的上路将被严格限制在设计行驶范围(ODD)，并基于非常全面和彻底的安全用例。”Magney说，“非常严格限制的ODD意味着特定的道路、特定的车道、特定的行驶时段、特定的天气状况、一天中的特定时间，以及特定的上下车地点等。”

在大会闭幕前的专题讨论上，专精于AI领域的康乃尔大学(Cornell University)计算机科学教授Bart Selman被问及AI驱动的车辆是否会具备“基本的理解能力”——即知道它实际上正在驾驶并了解周围的环境？他回答说：“要做到这一点至少还要10年……，也可能是20年到30年。”

同时，对于迫切想要打造ADAS和高度自动化车辆的人来说，目前的主旋律在于如何最有效地赋予车辆“视觉”。

Edge Case Research技术长兼卡内基梅隆大学(Carnegie Mellon University)教授Phil Koopman指出，高度自动化车辆的根本在于“感知”，即了解目标的位置。他解释说，与人类驾驶相比，自动驾驶车的弱点是“预测”，即了解行车环境，并预测所感知到的目标下一步可能往何处去。

智慧向边缘移动

在此次大会上出现的一种新趋势，就是在边缘增加更多智慧。许多供货商直接在边缘融合不同的传感数据，包括RGB摄影机+近红外线(NIR)、RGB+SWIR、RGB+光达(LiDAR)、RGB+雷达等，从而在传感节点上增加了更多智慧，然而，业界厂商对于如何实现融合的意见分歧。有些厂商选择在边缘促进传感器融合，另一些厂商，例如Waymo，则更倾向于在中央处理单元(CPU)上对原始传感数据进行集中融合。

由于欧盟新车安全评鉴协会(Euro NCAP)规定驾驶人监控系统(DMS)必须在2020年之前纳入主要安全标准，因此，在AutoSens大会上，出现了许多新的监控系统，不仅用于监控驾驶人，还能监控乘客和车辆中的其它目标。

其中一个典型的例子是安森美半导体(On Semiconductor)展示的新型RGB-IR图像传感器，整合了Ambarella先进的RGB-IR视频处理SoC和Eyeris的车载场景理解AI软件。

NIR与SWIR

无论是在车内还是在车外，都必须能在黑暗中看清目标，这意味着使用红外线(IR)。

安森美半导体的RGB-IR图像传感器采用NIR技术，另一家参展商TriEye更进一步采用基于短波的红外线(SWIR)摄影机。

可见光、近红外线与短波红外线(由左而右)。（来源：TriEye）

SWIR的优势之一在于能够在任何天气/照明情况下“看到”物体。更重要的是，SWIR可以提前判断道路的危险状况(例如道路结冰)，因为SWIR能够检测由每种材料的化学和物理特性所决定的独特光谱响应。

然而，由于制造SWIR摄影机的砷化铟镓(InGaAs)成本极高，因此大多仅限于军事、科学和航天应用。不过，TriEye声称已找到一种使用CMOS工艺技术设计SWIR的方法。

TriEye首席技术官兼联合创办人Avi Bakal说：“这就是我们所取得的突破。就像半导体一样，我们从一开始就采用CMOS大量制造SWIR摄影机。”相较于价格超过8,000美元的InGaAs传感器，Bakal表示，TriEye摄影机的价格只有“几十美元”。

SWIR的摄影机拆解。（来源：TriEye）

缺乏标记数据

AI的最大挑战之一在于训练资料不足。更具体来说，是“附加标记的训练数据”(annotated training data)。Magney说，“推论模型的好坏取决于数据及其收集方式。当然，训练数据需要用后设数据(metadata)来附加标签，但这非常耗时。”

在AutoSens大会上，业界热烈讨论 了“生成对抗网络”(GAN)方法。据Magney介绍，GAN是指两个神经网络相互竞争，从而创造新数据。针对特定的训练集，这项技术据称可以学习产生与训练集相同统计特性的新资料。

例如，Drive.ai正利用深度学习来加强标记数据的自动化，从而加速繁琐的数据标记过程。

Koopman在AutoSens大会的演讲中也谈到了准确标记数据的巨大挑战。他怀疑目前很多数据仍然未经标记，因为要能准确地执行这项任务只有少数几家大公司能够负担得起。

参展AutoSens的AI算法新创公司也坦承，向第三方公司支付数据标记的费用的确带来沉重的压力。

GAN是一种途径。但Edge Case Research提出了另一种方法，无需标记所有数据即可加速开发更安全的感知软件。该公司近日推出了一款称为Hologram的工具，提供一个AI感知压力测试和风险分析的系统。Koopman称，Hologram无需标记高达千兆字节(PB)的数据，只需执行两次，就可收集更多数据或做更多训练，以警告哪里有“疑点”，以及哪里“最好回头再检查一番”。

此次大会还提出了另一个议题，如果汽车OEM更换了用于数据训练的摄影机和传感器，将会对于带标记的数据集带来什么影响？

Algolux营销和策略伙伴关系副总裁David Tokic告诉《EE Times》，从事ADAS和AV研发的汽车工程师关注于两件事：一是在各种条件下的稳健感知；其次是准确且可扩展的视觉模型。

目前部署在ADAS或AV中的典型摄影机系统差异很大，不同的镜头(提供不同的视野)、传感器和影像信号处理，提供的参数完全不同。通常一家技术公司会选择一种摄影机系统，收集一个大型数据集，并对其进行标记和训练，以建构适应该摄影机系统的准确神经网络模型。

但是，当OEM更换了原来训练数据所用的摄影机会有什么影响？这一改变可能会影响感知的准确性，因为神经网络模型已经适应原来的摄影机，现在却要处理一组新的原始数据。

OEM是否需要重新训练其数据集？

Tesla、Waymo、GM/Cruise在其AV中使用了大量摄影机。（来源：Algolux）

针对图像传感器是否可更换，VSI Labs的Magney说：“除非规格相同，否则最好不要更换。例如，在VSI Labs，我们为FLIR红外线热影像仪训练了自己的神经网络，并且收集与我们所部署的热影像仪规格相同的训练影像。之后我们确实曾经更换过传感器，但其规格完全相同。”

不过，Algolux声称开发了一种新方法，可以“在几天之内”转换这些先前创建的数据集。Tokic说，该公司的Atlas摄影机优化套件能够了解“先验数据”——即摄影机和传感器的特性，再将其应用到检测层而实现了这一方法。Tokic说：“我们的使命是让OEM能够自己选择摄影机。”

AI硬件

过去几年来涌现了众多的AI处理器新创公司，掀起了AI浪潮，并引发业界宣称硬件复兴时代已经到来。其中许多AI芯片新创公司将ADAS和AV定为其目标市场。

例如，针对这一新兴的AI加速器市场，Ceva在AutoSens大会上首度亮相其全新AI核心和‘Invite API’。

然而，奇怪的是，除了英伟达(Nvidia)和英特尔(Intel)/Mobileye设计的芯片，以及特斯拉(Tesla)开发仅供内部使用的“全自动驾驶(FSD)计算机”芯片之外，新一代的多功能车辆尚未开始部署新的AI芯片。

另一方面，安森美半导体在AutoSens上发布了RGB+IR摄影机，这表明安森美/Eyeris团队已经选择Ambarella的SoC作为其AI处理器，用于车载监控任务。

Eyeris首席技术官Modar Alaoui坦言，业界通常不会认为Ambarella是一家AI加速器公司，而是传统的视频压缩和计算机视觉芯片业者。他说：“除了Ambarella的CV2AQ SoC，我们找不到其它任何能够支持10个神经网络、功耗低于5W且每秒可撷取30格视频(由6支摄影机用于车内监控)的AI芯片，以执行Eyeris的AI车载监测算法。”Ambarella的芯片由于满足了这些要求而获得青睐，击败了其它所有正在大肆宣传的加速器。

不过，Alaoui希望到明年1月在拉斯韦加斯举行的国际消费电子展(CES)之前，该公司的AI软件可以移植到另外三个硬件平台上。

安森美、Ambarella和Eyeris展示使用三个RGB-IR摄影机的新型座舱监控系统。（来源：EE Times）

同时，安森美半导体强调，驾驶人和乘客监控应用需要具备“在可变光照的情况——从阳光直射到漆黑一片——均可撷取影像”的能力。该公司称，凭借其出色的NIR响应，“RGB-IR CMOS图像传感器使用3.0µm背照式(BSI)和3重曝光的高动态范围(HDR)技术，可提供全高解析(HD) 1,080p的输出。”这些传感器对于RGB和IR光敏感，可以在日光下撷取彩色影像，并在NIR照明条件下撷取单色IR影像。

超越驾驶人监控系统

Alaoui宣称Eyeris的AI软件可以执行复杂的身体与脸部分析、监控乘客活动并进行目标检测。他补充说：“除了驾驶人监控，Eyeris的AI软件还可以监控车内的一切，包括座椅表面和方向盘”，他强调该公司的进展已经超过Seeing Machines所能成就的性能了。

不过，Seeing Machines欧洲客户方案总监Laurent Emmerich对此难以苟同。他认为：“超越监控驾驶人以外，涵盖在车辆内部的更多目标是一个很自然的发展过程，我们也正朝此目标前进中。”

他补充说，相较于新创公司，Seeing Machines的优势在于，“过去20年累积的AI专业知识为我们的计算机视觉技术奠定了坚实的基础”。目前，Seeing Machines的驾驶人监控系统已经成功被“6家汽车制造商采用，并设计于9种程序中。”

此外，Seeing Machines还开发了自家的硬件——Fovio驾驶人监控芯片。那么，该芯片是否也能用于未来的车载监控系统？Emmerich解释说，该芯片IP将应用于可配置的硬件平台。

冗余

为了提高车辆的感知能力，以及增加冗余以确保安全性，需要将多种不同形式的传感器组装在车辆中。

Outsight在AutoSens大会上展示传感器融合盒产品。（来源：EE Times）

法国新创公司Outsight在AutoSens上推出一款由多个传感器组成的高整合产品。该公司联合创办人、Whitings前首席技术官Cédric Hutchings解释说，Outsight的传感器融合盒旨在“透过理解提供感知，了解整个环境(包括道路上的冰、雪、油渍等)并按实际情况进行处理。”他补充说，“我们甚至可以采用有效的高光谱传感技术，为路面材料进行分类。”

但Hutchings并未透露Outsight的融合盒中具体采用了哪些公司的传感器，“由于我们还在调整合适的规格参数和应用，目前还无法公开我们的主要合作伙伴。”

《EE Times》在随后与TriEye的讨论中掌握到Outsight可能使用了TriEye的SWIR摄影机，但目前两家公司尚未达成最终协议。

Hutchings解释说，Outsight的传感器融合盒计划于2020年第一季出样给Tier-1供货商和OEM。该产品将作为一个新增的独立系统，为确保安全性和“真冗余”(true redundancy)提供“非关联性数据”。

该融合盒采用不依赖“机器学习”的途径，提供确定的结果以使其“可加以验证”。

另外，Aeye也针对ADAS/AV市场推出其iDAR产品，这是一款融合了HD摄影机的固态MEMS光达。AEye产品管理副总裁Aravind Ratnam表示，透过结合两种传感器并嵌入AI，这款可实时运行的系统能够“解决某些极端情况”。

Aeye解释说，iDAR系统旨在将2D摄影机的画素(RGB)和3D光达数据“立体画素”(XYZ)结合起来，以提供一种新的实时传感器数据类型，从而为AV路径规划系统提供更快速、更准确、更长距离和更智能的信息。

AEye AE110的产品性能与产业基准比较。（来源：AEye）

Ratnam在简报中提到AEye研究了各种用例，“我们研究了300个场景，挑选了56种合适的用例，并进一步缩减至20个场景。”这20个场景中的摄影机、光达和AI的融合最能发挥作用。

Ratnam展示了这样一种场景：一个小孩忽然不知从哪里窜出来，追着一个球冲到街道中央——正好在一辆车的前面。此时，位于边缘的摄影机融合光达可以更快速作业，从而缩短了车辆的反应时间。他指出：“我们的iDAR平台可提供非常快的计算速度。”

针对边缘传感器融合的优势，Waymo的一位与会工程师表示并不确定是否会有实质性的改变。他并提问：“边缘融合带来的速度提升会达到几微秒的差别吗？我不确定。”

AEye深信iDAR能为Tier-1供货商提供更多附加价值。Ratnam强调：“我们与Hella和LG等主要的合作伙伴密切合作，因而能够大幅降低iDAR的成本，目前我们的3D光达价格已经降低到与ADAS差不多了。”

Ratnam说，在接下来的3到6个月内，AEye将完成嵌入AI的车用级RGB和光达融合系统，而且价格将会“低于1,000美元”。

车用光达系统出货量。（来源：IHS Markit）

IHS Markit汽车半导体和传感器资深分析师Dexin Chen向与会者表示，光达供货商一直在“过度营销，吹嘘性能。”他指出，“未来可以宣传的是光达带来的物理优势，但能否真正商业化才是决定因素。如今业界更需要的是标准化、联盟和伙伴关系、供应链管理，以及AI合作伙伴。”

(参考原文：6 Trends on ‘Perception’ for ADAS/AV，by Junko Yoshida)

本文同步刊登于电子技术设计杂志2019年12月刊