车载摄像头在ADASHiL中的仿真方法

汽车ECU开发 2023-08-28 08:42 1279浏览 0评论 0点赞

案例解析打通芯片/系统验证"任督二脉" 全球首发！3D IC协同设计“黑科技”，效率提升200%

作者 | 北城旧巷

小编 | 吃不饱

车辆自动驾驶包括感知、判断和执行，而感知是整个过程的源头，是自动驾驶系统的重要模块。在车辆行车过程中，感知系统会通过传感器实时采集周边环境的信息，相当于自动驾驶汽车的“眼睛”，帮助汽车实现类似于人类驾驶员一样效果的观察能力。

感知系统主要由摄像头、超声波雷达、毫米波雷达、激光雷达（可选）等传感器构成。摄像头作为主要的环境感知传感器起着非常重要的作用，可以实现360°全面视觉感知，弥补雷达在物体识别上的缺陷，是最接近人类视觉的传感器。随着自动驾驶技术的发展，要求的车载摄像头数量越来越多，清晰度越来越高，稳定性越来越强。

图1 传感器布局

目前L2+、L3级别车辆搭载的摄像头根据安装位置主要分为前视摄像头、环视摄像头、后视摄像头、侧视摄像头以及内置摄像头五种类别。在行车时，前视、侧视、后视与毫米波、激光雷达共同感知融合，提供给算法模块可行驶区域、目标障碍物等信息，实现ACC/ICA/NCA、AEB、LKA、TSR等功能，同时内置摄像头会监控驾驶员的状态，实现疲劳监测功能；在泊车时，环视摄像头和超声波雷达共同感知停车位环境，实现APA功能。

车载摄像头在汽车高级驾驶辅助系统（ADAS）中扮演着重要角色，为我们的行车安全提供了强大的支持。

那么在做ADAS HiL测试时如何实现Camera仿真呢？

北汇信息提供以下两种实现方案

视频暗箱

视频暗箱是将虚拟仿真场景视频信号连接到暗箱中的显示器上，使用真实摄像头对着显示器拍摄视频，通过同轴线缆将拍摄到的视频信号传输给自动驾驶控制器，使控制器认为处于实车环境中，从而达到对ADAS控制器测试的目的。

图2 视频暗箱方案示意图

暗箱设备主要由箱体、滑轨、显示器、透镜、摄像头及相关支架、底座组成。视频暗箱不需要主机厂或者Tire1提供图像采集模块与图像处理模块之间的通信协议，其采用真实的摄像头，这种方式容易实现、成本较低，但是需要根据显示器的大小，精确的设定摄像头的摆放位置和角度，易受光线和显示器的影响，同时显示器的频率有可能会造成图像识别的延迟。此方案适用于单目摄像头，并且摄像头视场角要小于120°（环视摄像头无法使用此方案），视频暗箱设备较大，一个暗箱只支持一路摄像头，精度也较低。

图3 视频暗箱整体结构

摄像头标定分两部分，首先是硬件设备位置标定，保持摄像头、透镜、显示器中心在一条水平线上；其次要在仿真场景中对拍摄到的车道线进行标定。

视频注入

视频注入系统可用于摄像头原始数据流视频注入，使用VX1161视频回灌硬件对ADAS系统的车载摄像头传感器进行替换。摄像头仿真设备通过HDMI/DVI接口接收虚拟仿真场景不同Camera视角的视频信号，内部进行图像处理后以特定协议的视频信号注入给ADAS控制器。

图4 视频注入方案示意图

视频注入技术不受光线的影响，仿真精度高，支持在线调节摄像头信号颜色空间（RGB，YUV，RAW等）。一个VX1161视频回灌硬件同时支持多路摄像头仿真，设备体积较小，在仿真多路摄像头信号时，各通道视频信号可通过串行器来同步信号触发，适用于多目摄像头、多通道注入。

视频注入需要特定的视频协议信息，需要主机厂或者Tire1提供图像采集模块与图像处理模块之间的通信协议，开发存在畸变标定、色差调节等技术难点，成本较高。

视频注入系统支持对多种Camera安装位置和特征进行配置（包括Resolution、Frame rate、Optics和Sensor特性等），适用于各类基于摄像头的应用。使用DYNA4作为场景和动力学仿真软件，视频注入+摄像头模型还能在仿真环境中实现其他镜头特性效果，例如屏闪、镜头畸变、鱼眼、运动模糊等，模拟由于环境光线突变导致的摄像头短时间曝光过度或不足、部分或全部通道增益调节错误、摄像头成像噪点或图像失真、镜头被雨雾或污泥遮挡导致的成像故障。

图5 曝光过度

图6 像素坏点

对于视频注入方案，摄像头仿真模型需要根据真实畸变数据、FOV、像素大小、分辨率等参数生成，但仿真模型仍与真实车载摄像头存在细微畸变差异，需要进行标定。标定有两种方法，方法一是获取摄像头模型拍摄的图片，计算出图片的畸变参数，修改ADAS控制器配置的摄像头畸变参数；方法二是使用模型生成的黑白棋盘格图像和真实摄像头图像比照，细微调整仿真模型的参数，以达到畸变参数一致。