未来的车内设计:3DToF传感数据将大显身手

MEMS 2023-05-30 00:01

汽车制造商需要探索新的方法来让自己脱颖而出。其中的一项重点就是汽车内部的新功能。现在,全新的车规级3D飞行时间(ToF)摄像头几乎和智能手机的ToF摄像头一样小,这使得它们可以集成到汽车内部,并以合理的成本实现丰富的车内应用,包括无缝访问私人数据和驾驶员监控系统,以及智能安全气囊等。

过去,驾驶性能是决定一款车型销量好坏的主要因素。强劲的发动机、动感操控和低油耗是汽车制造商用来吸引客户的卖点。但时代在变化,消费者在选购新车时愈发关注类似于智能手机的功能和舒适性。此外,监管机构越来越高的安全性要求,正在驱动汽车制造商愈发关注车内设计。


3D ToF传感数据的使用,是实现未来车内设计,并让汽车制造商脱颖而出的一大特点。而较为简单和经济的3D数据采集方法要数使用飞行时间(ToF)摄像头。这种摄像头通过调制红外光,照射感兴趣区域,然后检测反射光,并将其与发射信号进行比较。这就会产生一个2D灰度图像,同时,从相位差中获得每个像素的距离信息,从而获得场景的三维信息(见图1)

图1:iToF技术原理 

2D灰度图与3D深度信息均由红外光获得


这种方法通常被称为间接飞行时间(iToF)。与传统摄像头不同,iToF在所有环境光条件下(例如:夜间、强烈的阳光下和光影频繁交替的马路上),都可以提供高度可靠的3D数据,而不会受到阴影和过曝的影响。相比其他深度传感技术,iToF还具有其他优势:ToF摄像头模块设计简单坚固,无需任何机械基线;摄像头校准速度快,易于可靠地大规模生产;应用处理器的计算负载相对较小。


监控驾驶员


将ToF传感器置于A柱、方向盘或组合仪表中,便可用于驾驶员监控系统(DMS)。


这些系统会观察驾驶员的情况,并在驾驶员注意力分散或出现疲劳迹象时发出警告。现在,这些系统越来越多地被安装在车中,以满足最新的新车评估计划(NCAP)的要求。到2029年,预计50%的车辆将配备 DMS,基于摄像头的DMS市场规模将达到25亿美元(见图2)


如今,标准要求(驾驶员注意力、注视区域分割、注意力分散或疲劳)通常由2D摄像头系统监控。但只要纳入第三个维度,就会涌现全新的创新应用,“车轮上的智能手机”和“驾驶员成为乘员”等愿景将成为现实(见图3)

图2:未来几年,基于摄像头的驾驶员监控系统

将逐渐迈入市场

图3:未来,车内设计将成为汽车制造商之间的

一项重要差异化因素


基于ToF的DMS是较为经济高效的选择。在该系统中,用于DMS功能的同一个ToF摄像头可以用于实现安全、防欺诈的面部验证,就像许多智能手机和智能门锁那样。该算法使用2D红外图像进行面部识别,并使用3D数据来避免任何类型的欺骗攻击。如果没有3D数据,一张简单的照片就足以骗过面部识别算法;而3D数据可以立即阻止这种企图。


但是,为什么需要在汽车上进行3D面部认证呢?随着消费者对智能手机、智能手表、智能电视和其他智能设备所提供的便利性愈发习以为常,他们期望汽车也能带来越来越多的便利。这意味着无论您身在何处(哪怕在智能汽车中),都可以无缝地访问私人数据和云服务,例如:流媒体音乐。


而这些新服务也需要身份验证,例如:在公共充电站给电动汽车充电时实现轻松支付。当需要对某个操作进行身份验证时,特别是那些敏感交易,就必须具备安全性,而这可以通过3D数据来实现。但也有一些不太敏感的面部识别应用。以个性化为例,它能使汽车检测到刚刚是哪位驾驶员进入了车辆,从而加载适当的设置。


安全与便利应用


汽车一旦上路,3D ToF传感数据还可以用来更加精确地确定驾驶员眼睛和头部的位置。这意味着,抬头显示器的投影也将更加适应驾驶员的情况。


但DMS并非ToF摄像头的唯一用途。后视镜附近的宽视野ToF摄像头可实现完整的乘员监控系统(OMS),为自动驾驶过程中的所有必要任务提供支持,为手握方向盘检测和自动驾驶接管行为铺平了道路。车辆接管驾驶时,驾驶员可以大幅改变姿势,甚至躺卧。为确保驾驶员的安全,车辆安全系统必须适应驾驶员的新姿势。例如,智能安全气囊或安全带需要了解乘员的精确位置。ToF摄像头通过准确的3D身体模型和实时身体跟踪提供此类信息。于是,哪怕驾驶员在L3和L4自动驾驶中享受了更多的“自由”,其被动安全依然有保障。


3D ToF传感技术的应用远不止跟踪运动,它还可以轻松实现乘员检测和分类。这提供了准确的尺寸和重量估计,可以取代现有的座椅重量测量系统。同样,ToF还支持儿童存在检测(CPD)系统,该系统正逐步成为一项强制性要求。


ToF还提供全新的便利性应用。OMS的ToF传感器可以跟踪乘员的脊柱位置,从而提供健康座椅位置建议、激活按摩座椅或提供健身提示等选项,以便在长时间的乘坐中,稍事休息,放松背部。


ToF摄像头也可以实现手势控制,让乘员可以从不同的座椅位置与大屏幕交互。同时,车辆可以区分驾驶员和乘员的输入。但同样,其追踪并不限于手部动作,还可以扩展到整个身体和动作。这使得智能且直观的车内照明成为可能,例如:只照亮当前的感兴趣区域。这显示了ToF技术的巨大优势。虽然某些应用也可以通过其他(甚至可能更便宜的)传感器来实现,但仅仅一个ToF传感器就可以同时提供多种不同的功能。如上所述,ToF可以实现全新的应用,优化车内现有的系统,甚至免去其他传感器,以降低总成本。


首批采用ToF传感器的车辆已经上路


宝马是利用ToF传感器进行手势控制的先驱;梅赛德斯也正在利用这项技术,提供便利性功能。在中国,许多新的电动汽车初创公司正在依赖ToF传感器进行DMS和面部识别。这项技术已经在AITO车型中得到了应用,预计其他各大汽车制造商将于明年推出更多采用该技术的车型。因此,这项技术已经打入了汽车内部。


3D摄像头如何防止面部识别欺诈


面部识别算法在这一点上相当成熟。特别是在智能手机中,该技术现得到广泛的应用。但研究(例如:德国杂志Computer Bild Q1/20的研究)表明,许多智能手机很容易被骗:25部智能手机中有20部可以被一张简单的打印照片解锁。只有配备3D深度传感器的智能手机才能区分真实的面部和照片。这使得ToF成为了为汽车驾驶员监控系统添加安全面部认证的理想技术。


英飞凌与Jungo Connectivity合作,展示了与强大的反欺诈面部认证功能相结合的驾驶员监控系统:该系统基于Jungo的人工智能车内感应解决方案CoDriver和英飞凌的REAL3 ToF图像传感器。


图4:3D ToF也适用于近距离车外感应


3D ToF也为车辆外部带来了全新的可能性(见图4)。如上文所述,面部认证可以用来解锁车辆。为此,我们在B柱中安装了ToF模块。


能够自动开合的电动车门,需要通过传感器来确保没有障碍物挡道。对此,ToF传感器可以提供所需的高精度数据。对于自动泊车,ToF传感器可提供关于路缘石、柱子等物体的位置和大小的准确数据。


当然,3D ToF摄像头模块是一个复杂的系统:它必须针对各自的车辆和应用进行定制,并且每个模块都必须进行校准。所使用的激光必须得到电气保护和机械保护,以便时刻确保乘员的眼部安全。数据处理同样不可小觑。在汽车应用中,ToF模块与所有其他部件一样,必须满足特定的标准。例如:智能安全气囊应用就需要符合包括ISO 26262在内的功能安全要求。


世界首款通过ISO 26262认证的ToF传感器


英飞凌是首家提供符合ISO 26262 ASIL-B功能性安全要求的高分辨率车规级ToF图像传感器的公司。ISO 26262 ASIL-B标准定义了功能安全领域的最新技术水平。车内任何可能影响乘员安全的器件都必须符合该标准。


在通过该标准的器件中,英飞凌REAL3™ IRS2877A(S) ToF图像传感器就是其中的一个。它基于第五代像素技术,已经过了智能手机的实践检验(IRS2877C)。有了这款新传感器,镜头尺寸再度大幅缩小,像素圈仅为4mm(0.25英寸),这使得镜头和智能手机的摄像头一样小。同时,它还具有高达640 × 480像素(VGA)的系统分辨率。


这是一款高度集成的解决方案,每个像素都具有背光抑制功能(所以,图像传感器完全不受阳光的干扰)、集成了保护人眼的安全电路,并采用经过优化的电源设计,有助于实现高效的(尺寸和成本)ToF摄像头模块设计。整个器件采用标准的光学球状引脚栅格阵列(BGA)封装,适用于标准的焊接工艺。


总结


3D ToF传感数据让一切变得与众不同:ToF解决方案表明,合规与创新并不矛盾。仅一个传感器就可以满足欧盟的相关法规标准和NCAP DMS的功能要求(包括头部跟踪、闭眼检测和凝视区域分割),同时通过安全的3D面部认证增加了新的功能和服务。这开辟了一个无缝连接的时代。此外,基于ToF的乘员监控系统将“驾驶员成为乘员”的愿景化为可能,例如,在车辆自动驾驶时,驾驶员可以改变姿势,甚至躺卧。


英飞凌拥有一个强大的合作伙伴生态系统,包括:模块制造商、一级客户和应用软件专家。该公司在消费类、工业和物联网应用中,也有着不错的3D ToF传感器成绩。英飞凌与开发合作伙伴pmd technologies一起,提供了一个完整的解决方案,包括复杂的深度算法、深度数据伪影检测和校正、深度软件支持,以及先进、快速并经过大量验证的校准和测试设置。


英飞凌是首家提供符合ISO 26262 ASIL-B功能安全要求的高分辨率车规级ToF图像传感器的公司。


英飞凌的3D ToF图像传感器是全球第一款通过ISO 26262 ASIL-B标准认证的3D ToF图像传感器,可应对当前和未来的功能安全应用。


英飞凌还是车内传感器领域的一站式服务提供商,除了3D ToF传感器外,还提供毫米波雷达和MEMS麦克风等其他传感器。



MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 51浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 141浏览
  •         在有电流流过的导线周围会感生出磁场,再用霍尔器件检测由电流感生的磁场,即可测出产生这个磁场的电流的量值。由此就可以构成霍尔电流、电压传感器。因为霍尔器件的输出电压与加在它上面的磁感应强度以及流过其中的工作电流的乘积成比例,是一个具有乘法器功能的器件,并且可与各种逻辑电路直接接口,还可以直接驱动各种性质的负载。因为霍尔器件的应用原理简单,信号处理方便,器件本身又具有一系列的du特优点,所以在变频器中也发挥了非常重要的作用。  &nb
    锦正茂科技 2024-12-10 12:57 76浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 79浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 102浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 71浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 83浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 109浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 71浏览
  •         霍尔传感器是根据霍尔效应制作的一种磁场传感器。霍尔效应是磁电效应的一种,这一现象是霍尔(A.H.Hall,1855—1938)于1879年在研究金属的导电机构时发现的。后来发现半导体、导电流体等也有这种效应,而半导体的霍尔效应比金属强得多,利用这现象制成的各种霍尔元件,广泛地应用于工业自动化技术、检测技术及信息处理等方面。霍尔效应是研究半导体材料性能的基本方法。通过霍尔效应实验测定的霍尔系数,能够判断半导体材料的导电类型、载流子浓度及载流子
    锦正茂科技 2024-12-10 11:07 64浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 50浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 88浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 84浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦