汽车制造商需要探索新的方法来让自己脱颖而出。其中的一项重点就是汽车内部的新功能。现在,全新的车规级3D飞行时间(ToF)摄像头几乎和智能手机的ToF摄像头一样小,这使得它们可以集成到汽车内部,并以合理的成本实现丰富的车内应用,包括无缝访问私人数据和驾驶员监控系统,以及智能安全气囊等。
过去,驾驶性能是决定一款车型销量好坏的主要因素。强劲的发动机、动感操控和低油耗是汽车制造商用来吸引客户的卖点。但时代在变化,消费者在选购新车时愈发关注类似于智能手机的功能和舒适性。此外,监管机构越来越高的安全性要求,正在驱动汽车制造商愈发关注车内设计。
3D ToF传感数据的使用,是实现未来车内设计,并让汽车制造商脱颖而出的一大特点。而较为简单和经济的3D数据采集方法要数使用飞行时间(ToF)摄像头。这种摄像头通过调制红外光,照射感兴趣区域,然后检测反射光,并将其与发射信号进行比较。这就会产生一个2D灰度图像,同时,从相位差中获得每个像素的距离信息,从而获得场景的三维信息(见图1)。
图1:iToF技术原理
2D灰度图与3D深度信息均由红外光获得
这种方法通常被称为间接飞行时间(iToF)。与传统摄像头不同,iToF在所有环境光条件下(例如:夜间、强烈的阳光下和光影频繁交替的马路上),都可以提供高度可靠的3D数据,而不会受到阴影和过曝的影响。相比其他深度传感技术,iToF还具有其他优势:ToF摄像头模块设计简单坚固,无需任何机械基线;摄像头校准速度快,易于可靠地大规模生产;应用处理器的计算负载相对较小。
监控驾驶员
将ToF传感器置于A柱、方向盘或组合仪表中,便可用于驾驶员监控系统(DMS)。
这些系统会观察驾驶员的情况,并在驾驶员注意力分散或出现疲劳迹象时发出警告。现在,这些系统越来越多地被安装在车中,以满足最新的新车评估计划(NCAP)的要求。到2029年,预计50%的车辆将配备 DMS,基于摄像头的DMS市场规模将达到25亿美元(见图2)。
如今,标准要求(驾驶员注意力、注视区域分割、注意力分散或疲劳)通常由2D摄像头系统监控。但只要纳入第三个维度,就会涌现全新的创新应用,“车轮上的智能手机”和“驾驶员成为乘员”等愿景将成为现实(见图3)。
图2:未来几年,基于摄像头的驾驶员监控系统
将逐渐迈入市场
图3:未来,车内设计将成为汽车制造商之间的
一项重要差异化因素
基于ToF的DMS是较为经济高效的选择。在该系统中,用于DMS功能的同一个ToF摄像头可以用于实现安全、防欺诈的面部验证,就像许多智能手机和智能门锁那样。该算法使用2D红外图像进行面部识别,并使用3D数据来避免任何类型的欺骗攻击。如果没有3D数据,一张简单的照片就足以骗过面部识别算法;而3D数据可以立即阻止这种企图。
但是,为什么需要在汽车上进行3D面部认证呢?随着消费者对智能手机、智能手表、智能电视和其他智能设备所提供的便利性愈发习以为常,他们期望汽车也能带来越来越多的便利。这意味着无论您身在何处(哪怕在智能汽车中),都可以无缝地访问私人数据和云服务,例如:流媒体音乐。
而这些新服务也需要身份验证,例如:在公共充电站给电动汽车充电时实现轻松支付。当需要对某个操作进行身份验证时,特别是那些敏感交易,就必须具备安全性,而这可以通过3D数据来实现。但也有一些不太敏感的面部识别应用。以个性化为例,它能使汽车检测到刚刚是哪位驾驶员进入了车辆,从而加载适当的设置。
安全与便利应用
汽车一旦上路,3D ToF传感数据还可以用来更加精确地确定驾驶员眼睛和头部的位置。这意味着,抬头显示器的投影也将更加适应驾驶员的情况。
但DMS并非ToF摄像头的唯一用途。后视镜附近的宽视野ToF摄像头可实现完整的乘员监控系统(OMS),为自动驾驶过程中的所有必要任务提供支持,为手握方向盘检测和自动驾驶接管行为铺平了道路。车辆接管驾驶时,驾驶员可以大幅改变姿势,甚至躺卧。为确保驾驶员的安全,车辆安全系统必须适应驾驶员的新姿势。例如,智能安全气囊或安全带需要了解乘员的精确位置。ToF摄像头通过准确的3D身体模型和实时身体跟踪提供此类信息。于是,哪怕驾驶员在L3和L4自动驾驶中享受了更多的“自由”,其被动安全依然有保障。
3D ToF传感技术的应用远不止跟踪运动,它还可以轻松实现乘员检测和分类。这提供了准确的尺寸和重量估计,可以取代现有的座椅重量测量系统。同样,ToF还支持儿童存在检测(CPD)系统,该系统正逐步成为一项强制性要求。
ToF还提供全新的便利性应用。OMS的ToF传感器可以跟踪乘员的脊柱位置,从而提供健康座椅位置建议、激活按摩座椅或提供健身提示等选项,以便在长时间的乘坐中,稍事休息,放松背部。
ToF摄像头也可以实现手势控制,让乘员可以从不同的座椅位置与大屏幕交互。同时,车辆可以区分驾驶员和乘员的输入。但同样,其追踪并不限于手部动作,还可以扩展到整个身体和动作。这使得智能且直观的车内照明成为可能,例如:只照亮当前的感兴趣区域。这显示了ToF技术的巨大优势。虽然某些应用也可以通过其他(甚至可能更便宜的)传感器来实现,但仅仅一个ToF传感器就可以同时提供多种不同的功能。如上所述,ToF可以实现全新的应用,优化车内现有的系统,甚至免去其他传感器,以降低总成本。
首批采用ToF传感器的车辆已经上路
宝马是利用ToF传感器进行手势控制的先驱;梅赛德斯也正在利用这项技术,提供便利性功能。在中国,许多新的电动汽车初创公司正在依赖ToF传感器进行DMS和面部识别。这项技术已经在AITO车型中得到了应用,预计其他各大汽车制造商将于明年推出更多采用该技术的车型。因此,这项技术已经打入了汽车内部。
3D摄像头如何防止面部识别欺诈
面部识别算法在这一点上相当成熟。特别是在智能手机中,该技术现得到广泛的应用。但研究(例如:德国杂志Computer Bild Q1/20的研究)表明,许多智能手机很容易被骗:25部智能手机中有20部可以被一张简单的打印照片解锁。只有配备3D深度传感器的智能手机才能区分真实的面部和照片。这使得ToF成为了为汽车驾驶员监控系统添加安全面部认证的理想技术。
英飞凌与Jungo Connectivity合作,展示了与强大的反欺诈面部认证功能相结合的驾驶员监控系统:该系统基于Jungo的人工智能车内感应解决方案CoDriver和英飞凌的REAL3™ ToF图像传感器。
图4:3D ToF也适用于近距离车外感应
3D ToF也为车辆外部带来了全新的可能性(见图4)。如上文所述,面部认证可以用来解锁车辆。为此,我们在B柱中安装了ToF模块。
能够自动开合的电动车门,需要通过传感器来确保没有障碍物挡道。对此,ToF传感器可以提供所需的高精度数据。对于自动泊车,ToF传感器可提供关于路缘石、柱子等物体的位置和大小的准确数据。
当然,3D ToF摄像头模块是一个复杂的系统:它必须针对各自的车辆和应用进行定制,并且每个模块都必须进行校准。所使用的激光必须得到电气保护和机械保护,以便时刻确保乘员的眼部安全。数据处理同样不可小觑。在汽车应用中,ToF模块与所有其他部件一样,必须满足特定的标准。例如:智能安全气囊应用就需要符合包括ISO 26262在内的功能安全要求。
世界首款通过ISO 26262认证的ToF传感器
英飞凌是首家提供符合ISO 26262 ASIL-B功能性安全要求的高分辨率车规级ToF图像传感器的公司。ISO 26262 ASIL-B标准定义了功能安全领域的最新技术水平。车内任何可能影响乘员安全的器件都必须符合该标准。
在通过该标准的器件中,英飞凌REAL3™ IRS2877A(S) ToF图像传感器就是其中的一个。它基于第五代像素技术,已经过了智能手机的实践检验(IRS2877C)。有了这款新传感器,镜头尺寸再度大幅缩小,像素圈仅为4mm(0.25英寸),这使得镜头和智能手机的摄像头一样小。同时,它还具有高达640 × 480像素(VGA)的系统分辨率。
这是一款高度集成的解决方案,每个像素都具有背光抑制功能(所以,图像传感器完全不受阳光的干扰)、集成了保护人眼的安全电路,并采用经过优化的电源设计,有助于实现高效的(尺寸和成本)ToF摄像头模块设计。整个器件采用标准的光学球状引脚栅格阵列(BGA)封装,适用于标准的焊接工艺。
总结
3D ToF传感数据让一切变得与众不同:ToF解决方案表明,合规与创新并不矛盾。仅一个传感器就可以满足欧盟的相关法规标准和NCAP DMS的功能要求(包括头部跟踪、闭眼检测和凝视区域分割),同时通过安全的3D面部认证增加了新的功能和服务。这开辟了一个无缝连接的时代。此外,基于ToF的乘员监控系统将“驾驶员成为乘员”的愿景化为可能,例如,在车辆自动驾驶时,驾驶员可以改变姿势,甚至躺卧。
英飞凌拥有一个强大的合作伙伴生态系统,包括:模块制造商、一级客户和应用软件专家。该公司在消费类、工业和物联网应用中,也有着不错的3D ToF传感器成绩。英飞凌与开发合作伙伴pmd technologies一起,提供了一个完整的解决方案,包括复杂的深度算法、深度数据伪影检测和校正、深度软件支持,以及先进、快速并经过大量验证的校准和测试设置。
英飞凌是首家提供符合ISO 26262 ASIL-B功能安全要求的高分辨率车规级ToF图像传感器的公司。
英飞凌的3D ToF图像传感器是全球第一款通过ISO 26262 ASIL-B标准认证的3D ToF图像传感器,可应对当前和未来的功能安全应用。
英飞凌还是车内传感器领域的一站式服务提供商,除了3D ToF传感器外,还提供毫米波雷达和MEMS麦克风等其他传感器。