安波福 | 舱内传感平台应用将带来智能座舱新体验

安波福认为，舱内传感技术的开发及应用将在多方面带来广阔的创新空间，包括提高汽车安全性、开发全新的舒适性、便利性功能、提高汽车的智能水平，等等。

研究表明，驾驶员精力不集中、疲劳驾驶和驾驶时被分散注意力是导致道路交通事故的主要原因。据美国国家公路运输安全管理局的报告，近年来，在造成死亡的车祸事故中，有8%的事故与分心驾驶有关；而在这些造成死亡的事故中，有13%的驾驶员当时正在使用手机。

我们相信，越来越多的市场将会推出有关行业法规，以降低分心驾驶带来的风险。比如，欧洲新车评估项目（Euro NCAP）计划推出对新车的有关评级措施，以鼓励汽车制造商在新开发车型上安装驾驶员状态监测系统，在检测到危险情况或驾驶员分心驾驶时，及时发出音频或视觉警告，并采取相应措施。如驾驶员行动能力丧失时，自动启动规避操作，或安全地将汽车停靠到路边。

通过摄像头监测驾驶员疲劳和分心状态的舱内传感技术的应用，也有助于推动自动驾驶的开发及落地应用。

在L2+级自动驾驶至3级自动驾驶阶段，由于对驾驶的控制权需要根据情况在驾驶员和车辆之间交接，因此，驾驶员和车辆之间存在实时的、复杂的交互。到了L3级自动驾驶阶段，驾驶员可以在特定条件下将驾驶权交给汽车。比如：当车辆在高速公路上行驶时，可以开启自动驾驶模式；但是当要驶出匝道或者遇到施工路段时等汽车不能处理的情况时，车辆控制权就需要重新交还给司机。

舱内传感技术的应用将通过对驾驶员状态的实时监测，保证驾驶员能够随时接替对车辆的驾驶控制。

舱内传感系统的应用将为主机厂带来新的盈利机会，可以通过推出一些新功能，吸引消费者并形成竞争优势。

因为舱内传感系统的应用将可以使驾驶员或乘客通过眼睛注视、手势等多种形式实现人机交互，对车辆功能进行控制。

比如，驾驶员看着后视镜做个手势，就可以调整镜子的角度。又或者，当驾驶员的视线投向仪表板时，仪表盘就会自动调高亮度，方便驾驶员看清楚上面的内容；而当驾驶员将视线转回到路面上时，仪表盘即再暗下去，以减少对驾驶员注意力的干扰。眼睛注视识别也可以与语音识别相结合，实现更高阶的的语音控制。比如，“把前舱左侧的空调调到25 度”这句话的语音指令，可以简化为“把它调到25度”。

2015年，安波福与宝马汽车合作在宝马7系列平台上推出了业界首个集成式3D手势识别系统，随即应客户要求将该功能扩展至宝马5和宝马3系列平台上。安波福还于2018年推出了驾驶员感应系统，作为助力宝马汽车实现2级自动驾驶的关键技术，该系统目前已部署于宝马X5系列车型当中，目前正逐步扩展至其它车型。安波福已成为舱内传感技术的领导者，我们的舱内感应系统已经帮助五家主机厂荣获了客户奖项。

舱内传感技术与高级车载信息娱乐平台相结合，驾驶员还可以与智能家居等外部智能设备进行沟通。比如，在你开车回家的路上，只需一个简单的手势，就可以启动观看来自家里大门的监视视频。你还可以利用随指随查功能，指一下某个地标，就可以获取有关它的信息，或指一下某个餐厅，预约一张餐桌。

事实上，如果车载信息娱乐系统完全可以通过非接触式人机交互技术（语音、手势和/或眼神）进行操作，那么，驾驶座舱的设计将会更加灵活，因为仪表盘不一定要安置在驾驶员的手可以触及的地方，而是安置在方便驾驶员快速扫视的地方，从而减少驾驶员将目光从道路上移开的时间。

更重要的是，舱内传感系统的应用将为主机厂移除更多传统硬件以及创造新的盈利机会创造可能。

比如，通过舱内摄像头，汽车能够“看到”是否有人坐在乘客座位上，那么，座椅上的压力传感器（它们是被动乘员探测系统PODS的一部分）就可以不要了，从而削减成本。同时，舱内传感监测系统的应用还可以增加新的功能，如检测车上的每个人是否都系好了安全带，包括后座乘客。这是当下的大多数车辆无法做到的。

如果你通过车载设备进行网上购物，结合面部识别技术，舱内传感监测系统将可以协助你确认付款，达成交易。此外，还可以开发如车内视频会议、遥控检查是否有物品遗留在车内，等等。

舱内传感监测系统还可以收集数据，了解驾驶员或乘客的身体状态或精神状态。系统应用高像素人脸分析技术，通过对眉毛、眼睛、嘴巴和鼻子的位置等数据分析，判断一个人是高兴、生气、惊讶、厌恶、害怕还是悲伤。

出租车、共享出行、货车等客运车辆相关的商业领域中，最有可能最先出现对这类功能的应用，因为了解驾驶员及乘客的身体及精神状态，将有助于运营商更好地为客户提供服务。

情绪感应技术还可以帮助主机厂了解用户对汽车硬件或软件体验的反馈。也就是说，系统可以检测用户在体验某些功能时，是感到困惑还是乐在其中，主机厂以此可以更加了解用户痛点，推出更受用户欢迎的功能。

目前，我们还处于舱内传感技术应用发展进程的早期阶段。不过，前方的道路已十分明朗。

保证汽车满足基本监管要求的初级应用方案已经逐渐被整车厂广泛应用，系统主要通过安装在方向盘、仪表盘或中央显示器上的摄像头来监测驾驶员是否瞌睡或分心。比如，如果驾驶员将视线从道路上移开超过两秒钟，系统会发出声音警报，或令仪表板上的红灯闪烁。为了判断驾驶员是否在打瞌睡，摄像头采用智能技术测量驾驶员头部位置、眼球运动、眨眼频率以及驾驶员眼睛睁大的程度。如果发现驾驶员在打瞌睡，系统可能会令座椅摇晃或发出声音警报。

在识别困倦或分心的基础上，高级驾驶员感应系统还可以扩展更多功能。比如，可以通过摄像头和指纹等生物识别技术，检测声音并准确识别驾驶员。还可以判断驾驶员是否醉酒、压力过大、陷入沉思，甚至试图借助图片欺骗自动驾驶系统。

驾驶舱感应系统是驾驶员感应系统的更高一级应用，其中广角摄像头在车内视野更广，通常可以将乘客座椅和后排座椅纳入视线当中。凭借这一优点，系统可以判断驾驶员是否将手放在了方向盘上。它可以识别前排乘客，根据他们的体格调整座位，并确保乘客正确系好安全带。通过整舱乘员检测，系统可以确定驾驶舱内有多少人，并能够判断他们的心情和情绪。它还能够检测驾驶员是否突然发病，从而触发自动系统，将车辆安全地停靠在路边并通知应急服务机构。

此外，广角3D摄像头可以安装在舱内车顶上，视角朝下，将前排座椅也尽收眼底。这样，乘客能够通过手势以及前文提到的随指随查功能控制车辆的功能。手势识别技术作为一个独立的应用领域还在不断发展同。

随着机器学习系统变得更加智能、更加强大，汽车将不仅对驾驶员所面临的情况了如指掌，还能够采取相应的措施。比如，如果车辆偏离车道而且驾驶员的视线离开道路，系统可能会自动启用车道保持几秒钟，即使手动关闭这个功能也会如此。或者，假设在驾驶员分心时前方车辆突然停下来，系统可以使车辆减速或提前开始制动，以便即刻启动自动紧急制动功能。

随着舱内传感算法的升级，还会出现更多的安全应用，例如跟踪身体位置以调整安全气囊的分布。

从长远来看，全舱传感是一项关键技术，可帮助实现可重构的舱内设计以及自动驾驶汽车的各类非标准舱内概念，如允许驾驶员斜躺入睡或观看视频的休闲车、用于医疗远程呈现的自动医疗诊所、或自主购物精品店。

舱内传感平台的应用是硬件和软件的复杂集成的结果。在硬件方面，基本配置由一个以每秒60帧的速度运行的1.3兆像素摄像头以及红外垂直腔表面发射激光器(VCSEL)组成，垂直腔表面发射激光器可为驾驶员打光，即使在夜间或者驾驶员带着墨镜，也能监测到驾驶员的状态。

要实现更高级的传感水平，可以在座舱内的不同位置安装多个2D和3D摄像头，包括位于车顶、视角朝下的摄像头。安波福的卫星方案可以灵活部署多台摄像头，驾驶舱内只需要安装摄像头等很少的硬件，每枚摄像头通过高速网络线路将数据传输到集中式域控制器，该域控制器负责托管运行特定算法的视觉处理器。或者，摄像头可以绑定电子控制单元(ECU)中的处理器，然后将数据传输到域控制器。出于隐私和数据保护的考虑，数据不会从车辆中泄露出去。

有一点至关重要，那就是开发舱内传感平台的供应商需与主机厂密切合作以便与车辆中的其它系统完全集成，这样，来自摄像头的警报等信息就可以触发自动紧急制动或复杂的自动驾驶控制权交接等操作，同时，也可以实现准确理解手势，从而采取具体操作。

那么，摄像头如何知道驾驶员是否处于疲倦、压力过大、分心或不清醒的状态？安波福的舱内传感平台从驾驶员的整个面部收集数据点，并将它们与驾驶员的面部基线进行比较。驾驶员是否比平时眨眼更加频繁，或者眨眼持续时间是否比平时长？驾驶员的头部倾斜角度是否奇怪？驾驶员是否眯眼或干脆闭上了眼睛？驾驶员的面部表情是否出现变化？

该系统可以追踪驾驶员的眼睛，以监测驾驶员是否专心注视道路。此外，驾驶员“走神”（也就是直视前方但并未真正注视道路）时，该平台也能及时发现。更高级系统还将能够掌握可能会分散驾驶员注意力的因素，并使他们将注意力重新集中在道路上。

手势控制需要借助视角朝下的摄像头和3D手势识别智能技术实现，可以让驾驶员使用手势语与车辆进行交流。比如，有来电时，驾驶员可以做出一个简单的滑动手势来拒绝接听电话，或者可以用一根手指敲击来接听电话。顺时针旋转手指可以表示调高音量或放大控制台上显示的地图。用拇指和食指画一个圆圈并向右移动可以表示切换至下一首歌曲或下一个菜单项。

为了理解来自车内摄像头的图像，一个典型的舱内传感平台可能会使用20余个神经网络，而且这一数字还在持续增加。这些网络中总共包含超过7000万个经过训练和优化的参数。

最后，内部感应舒适性和安全性应用将向上集成并整合到信息娱乐和ADAS域控制器上，此举将有助于降低系统的成本，使其适用于各个车辆细分市场。借助合适的软件框架，主机厂将可以在车辆的整个生命周期内通过无线更新更新单个应用程序。