基于图像数据可评估自动驾驶车辆驾驶员的活动，并评估驾驶员采取控制措施的速度。
Fraunhofer IOSB开发的乘员监控系统检测乘员姿势
据麦姆斯咨询介绍，乘员监控系统支持车辆内部辅助系统，可以提供有关乘客的信息。一般来说，目前的系统依靠简单的传感器进行转向时间、转向运动、座椅占用的检测以及凝视检测。这提供了对驾驶员是否表现出疲劳迹象或过于分心的初步判断信息。
随着乘员监控系统在现代车辆中的使用越来越普遍，Fraunhofer IOSB（德国弗劳恩霍夫研究所）开发的高级乘员监控系统（AOMS）在车辆内部使用光学传感器，比之前最先进的系统更有市场前景。该系统同时监测驾驶员和所有乘客。
高级乘员监控系统可以识别所有乘客的3D人体姿势，分析他们的运动行为并对检测到的每个人的活动进行分类。这不仅可以检测驾驶员入睡等危急情况，还可以区分不同的活动和相关的分心程度。
高级乘员监控系统的基础是实时检测3D人体姿势。对于摄像头捕捉到的所有车辆乘客，该系统通过机器学习技术将乘客身体姿势识别为3D骨骼模型。
捕捉到的乘客的最终图像包括眼睛、头部、颈部、肩部、肘部、手腕、躯干、骨盆以及大腿和小腿的位置——仅在摄像头的图像中可见。该记录不需要生物特征数据，因此十分保护隐私。
该系统能够使用单个3D摄像头或多个2D摄像头，并从摄像头的角度重建3D关节点。摄像头可以安装在任何位置，确保充分覆盖车内人员。
手势识别
眼睛、肘部和手腕的位置也会出现在最终的人体姿势骨骼模型中。这使得可以将前臂的方向和眼-手延伸的指向方向解读为指势。这两个变量都可用作3D矢量。
因此，指势可以直接以厘米精度映射到车辆内外的已知物体。由于指势检测基于3D人体姿势识别，因此还可以区分左臂和右臂，并且可以在车内的任何地方识别指势而不仅仅是在常规座位或规定的交互区域。
在该系统的发布声明中，IOSB说道：“随着车辆的自动化程度越来越高，驾驶员和其他乘客也将被允许在车内进行更自由的次要活动。”
概念车已经打破了传统的座椅布置，例如，通过座椅转动和移动，将驾驶员的运动范围扩展到整个车辆内部。在这种行动自由的背景下，该如何实现与车内系统互动的问题也随之而来。指势和语音输入是最合适的解决办法，但必须提供必要的鲁棒性和自由度，以允许乘客在车内进行操作。
车内活动检测
Fraunhofer IOSB的高级乘员监控系统检测低头
在手动驾驶情况下，驾驶员应将全部注意力集中在道路上。驾驶员驾驶汽车时，不能从事任何次要活动。然而，随着车辆自动化水平的提高，驾驶员不再承担驾驶责任。
驾驶员被赋予了从事次要活动的自由。部分自动化车辆必须考虑到这一事实：在将驾驶责任交还给驾驶员时，驾驶员可能会分心、睡着甚至出现医疗紧急情况。
Fraunhofer IOSB的高级乘员监控系统可检测车内所有乘客的活动，能够区分多达35种活动，包括喝、吃、睡、阅读、打电话等。
为实现该系统，最先进的机器学习处理并融合了乘客的3D人体骨架识别，并结合了目标检测和对所有被检测人员的运动行为的智能分析。这使得系统能够准确地分辨出某人是在伸手拿手机打电话，还是在打开瓶子并将其送到嘴里。因此，高级乘员监控系统可提供关于驾驶员分心状态的重要信息。
此外，该系统还提供了有关车辆内部现状和人员行为活动的重要信息。例如，这使得区分无意和有意的指势或提供针对乘客个人需求量身定制的创新辅助功能成为可能。
延伸阅读：
《自动驾驶汽车、机器人出租车及其传感器-2021版》
《新兴图像传感器技术、应用及市场-2021版》
