一文了解智能座舱监测系统（IMS）之DMS和OMS

作者 | 北湾南巷

出品 | 汽车电子与软件

智能座舱功能列表

其中DMS，即Driver Monitoring System，驾驶员监测系统，监测对象为Driver(驾驶员），DMS可以监测驾驶员的疲劳状态、危险驾驶行为。

OMS，即Occupancy Monitoring System，乘客监测系统，监测对象为乘客，OMS能够监测乘客年龄、状态、情绪等。

相对于DMS和OMS而言，IMS是一个比较新的概念。In-cabin monitoring System即汽车座舱的智能视觉监控系统。通俗来讲，IMS既包括DMS、OMS，也包括FACE ID、手势识别、体征监测、远程监控等。

IMS系统工作原理

座舱检测系统的形成链条主要涉及三个环节，摄像头/传感器进行图像的捕捉与输入；芯片板进行解码与演算；信息娱乐系统（IVI）的人机交互进行监测提示与反馈，最终使驾驶员得到相应的安全预警反馈。

在智能座舱中，除了显示和交互技术外，座舱监测技术也是未来的重要发展方向，监测系统主要包含了驾驶员监测（DMS）和乘员监测（OMS）。当前的座舱监测方案主要包括了DMS和OMS,前者主要对驾驶员的监测，主要利用2D/3D摄像头方案，后者主要针对车内乘客的监测，会增加毫米波雷达作为补充。

根据“欧盟通用安全法规”，从2024年中期开始，所有划归M类和N类的新制造车辆都必须配备先进的驾驶员分心警告系统（ADDW）。ADDW系统主要监控驾驶员的眼睛运动，并在检测到分心迹象时发出警告。早在2019年，宝马X5车型就已经配备了驾驶员注意力摄像头，用于观察驾驶员的睁眼情况和头部位置，从而评估驾驶员的专注程度。

拓展：

按用途以符号分类 按GB/T 15089--2001《机动车辆和挂车分类》标准将机动车辆和挂车分为M类、N类、G类、O类、L类。1、M类：M类车辆是至少有四个车轮并且用于载客的机动车辆。2、N类：N类车辆时至少有四个车轮且用于载货的机动车辆。3、G类：G类可概括为越野车，包括在M类N类之中。4、O类：O类挂车【包括半挂车】。

M类：至少有4个车轮并且用于载客的机动车辆；

M1类：包括驾驶员座位在内,座位数不超过9座的载客车;

M2类：包括驾驶员座位在内,座位数不超过9座,且最大设计总质量不超过5000kg的载客车;

M3类：包括驾驶员座位在内,座位数不超过9座,且最大设计总质量超过5000kg的载客车;

N类：至少有4个车轮并且用于载货的机动车辆；

N1类：最大设计总质量不超过3500kg的载货车辆；

N2类：最大设计总质量超过3500kg，但不超过12000kg的载货车辆；

N3类：最大设计总质量超过12000kg的载货车辆；

DMS并不是一个完全新颖的概念，不过，传统DMS通常依赖于从车辆收集信息的被动技术，例如车道保持、驾驶持续时间，以及转向传感器等。然而，这些被动技术已经被证明不够准确，容易导致很高的误报率。因此，ADDW法规转向主动监测驾驶员的眼球运动，标志着DMS从被动技术向基于视觉的主动监测技术转变。

目前主流是利用2D或3D的摄像头方案（一般带红外功能）实现对驾驶员的身份识别、驾驶员疲劳驾驶以及危险行为的检测功能，是目前流行的ADAS（高级驾驶辅助系统）系统中重要组成部分。

• 2D人脸识别技术的原理就是用一颗RGB摄像头捕捉人脸的2D平面图像和已经录入的图像库进行对比，算法相对简单，模组成本较低。但是由于其捕捉的是人脸的2D平面图像，即使辅以“活体”算法，但防伪性还是很差。

2D 3D的区别

• 3D人脸识别技术逐渐运用到智能锁领域。而主流的3D人脸识别技术主要有3种：

  
  

  Ø 双目识别技术：双目识别技术又叫双目测距技术，原理和我们的人眼类似，直接由两个摄像头拍摄，得到两个不同的平面图像，再把两张图像上相同的特征点标注出来，最后再基于三角测量原理计算出深度信息。

  
  

  

  双目识别原理
  

  
  

   

  Ø3D结构光技术：3D结构光需要有点阵投影器和红外摄像头。点阵投影器投影到我们脸上，红外摄像头则找到投影到脸上的光点，然后基于三角测量原理计算出人脸的深度信息，通过深度判断人脸是否吻合。

  
  

  

  
  

  

  3D结构光原理

  
  

  ØTOF技术：TOF又称飞行时间技术，通过传感器发射出红外光，红外光再从物体表面反射回传感器，传感器根据发射光和反射光之间的相位差换算出深度信息，通过深度信息判断人脸是否吻合。

  
  

  TOF的原理与3D结构光比较相似，都是通过红外光反射计算深度信息，只是3D结构光技术投射的红外光是点状，而TOF投射的则是一整片红外光，因此TOF的工作距离可以达到5米，但是精度与3D结构光相比还是有较大的差距。

  
  

  

3D结构和3D-TOF的差异

总结：

1、双目方案。比较大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。

2、结构光方案。目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的上述问题。但是，在强光下，结构光核心技术激光散斑会被淹没，因此，不合适室外。同时，在长时间监控方面，激光发射设备容易坏，重新更换设备后，需要重新标定。

3、TOF方案。传感器技术不是很成熟，因此，分辨率较低，成本高，但由于其原理与另外两种完全不同，实时性高，不需要额外增加计算资源，几乎无算法开发工作量，是未来。

注：RGB色彩模式（也翻译为“红绿蓝”，比较少用）是工业界的一种颜色标准，是通过对红(Red)、绿(Green)、蓝(Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。

OMS系统介绍

DMS还可以升级为OMS-即车内人员监控系统，摄像头不仅可以对驾驶员的状态进行跟踪，包括驾驶员疲劳的一些提醒，甚至还可以对后排乘客进行跟踪，以满足相关乘车需求。OMS传感方案包括五种，分别是摄像头、毫米波、超声波、压力传感器和生物特征传感器。目前，OMS主流传感方案为1*OMS摄像头（占比高）或1*毫米波雷达。在座舱感知方案中，诸如毫米波雷达等感知方案可以作为视觉方案的补充，能够有效降低隐私侵犯和泄露风险，主要用于座舱OMS系统的生命体征检测，目前国内已有多家车企搭载了该种方案。

座舱生命体检测方案

（1）单摄像头方案，大多数集成在驾驶员侧的A柱或方向盘，功能主要是人脸识别（包括发动机启动、车机系统进入以及座椅个性化调节等）和疲劳分心监测。

另一种则是集成在内后视镜位置，除了服务驾驶员，还可以额外提供乘员监控功能（车内行车记录功能），甚至包括儿童／遗留物检测、安全带检测和识别特定乘客等功能。

（2）双／三摄像头方案，分别位于A柱、内后视镜以及车顶位置，负责不同功能的实现。

（3）大部分用于检测驾驶员疲劳的驾驶员监测系统均采用成本较低的传统2D可见光摄像头（配合IR红外LED）。3D—ToF传感器也开始进入前装（比如，首发搭载理想L9），从而增强座舱监控系统鲁棒性，实现恶劣的光照条件下捕捉深度和红外图像。

主机厂车型IMS装配情况

 摄像头安装位置示意图

同时，在整体系统方案方面，主要形态包括基于摄像头和独立控制单元，或摄像头＋集成座舱车机／域控制器解决方案。供应商方面，有底层感知算法供应商、软件Tier1以及硬件Tier1等不同角色。

虹软科技通过视觉，可以实现的OMS功能有：

• 乘客占位和属性检测：实时统计车内人员数量，准确标识乘客入座位置，帮助掌握车辆载客情况。精准识别年龄、性别、情绪等多种人脸属性信息，分析乘客面部表情，有效规避司乘冲突。

• 遗留物品检测：实时检测舱内后座画面，结合下车信号有效分析乘客随身物品的遗留情况，并根据业务策略给予告警系统。可精准检测手机、钱包、女士手袋等数十种随身物品，且支持一站式自定义物体品类训练。

• 遗留儿童检测：实时监测舱内后座区域，结合下车信号精准判断后座区域是否存在儿童遗留，并根据业务策略将儿童感知数据传输至告警系统，全面保障乘客的出行安全。

• 遗留宠物检测：准确分析后座区域是否存在活体宠物遗留，并根据业务策略及时发送预警信息；支持识别多品种宠物猫和宠物狗，能有效抵御毛绒玩具等假体攻击。

2、毫米波雷达OMS方案在一些主机厂中已经得到应用，在某些场景下（如遗留儿童监测），摄像头的监控范围易受安装位置、视线范围等条件影响，较难做到精准无误监测与警报。而雷达传感器（包括毫米波雷达、超声波雷达、UWB雷达）具有穿透固体物质的能力，可以更精确地检测无人照管的儿童、监测乘员状态、预估驾驶员的生命体征，在舱内监控中的应用有望扩大。其中森思泰克的STA60-4/STA79-4车内成员检测雷达方案较为成熟，STA60-4和STA79-4车内成员检测雷达是由森思泰克自主研发的两款基于60GHz和79GHz毫米波技术的雷达产品。两款雷达工作频率不同，可满足不同国家法规差异化的要求。两雷达功能相同，均可检测车中指定区域内有无活体目标，尤其是后排遗留儿童检测，具有性能高、体积小、重量轻等特点。

森思泰克方案图

STA60-4/STA79-4车内成员检测雷达一般安装在汽车天窗附近，隐藏在顶棚内部。当车辆驻停后，雷达可自动检测车内后排座椅上的目标信息，一旦发现存在滞留儿童，迅速发出报警信号，同时还可以启动通风系统等辅助救助装置，从而达到保障乘车儿童人身安全的目的。

森思泰克雷达参数指标

楚航科技车规级平台研发生产的60GHz生命体征探测雷达，采用3发4收天线通道，可覆盖车内全区域，体积小，低成本，低功耗，< 1%误报率与0漏报率，可实现ROA第二排占位探测与第三排活体探测, DMS驾驶员心跳呼吸检测。

楚航科技方案参数指标

• ROA系统

  
  

  1. 

  ROA（rear occupant alert）后排占位检测系统毫米波雷达安装在车顶可感知整个座舱区域、探测目标并对其进行高精度分类和生物特征的监测，监测车内人数。

  2. CPD（children present detection）儿童存在探测功能防止儿童以及宠物被遗留在车内而发生意外，一旦有儿童被遗留在车内，系统会输出报警信息给驾驶员。

  3. SOD（seat occupancy detection）占位检测功能可以探测到车内哪个位置被占用，并可输出占用信息给车辆，该信息可作为其他功能的二次开发依据。

• DMS系统

  
  

  1. DMS（driver monitoring system）驾驶员监控系统驾驶员呼吸、心跳监测 驾驶员生命体征异常报警

  2. 安全气囊优化毫米波雷达成像可评估身体大小，识别成人还是儿童，以优化安全气囊的部署。

2. 系统OMS功能及整个座舱监控IMS采用毫米波雷达或其他传感器解决方案作为视觉解决方案的补充。