面包芯语

一文解析自动驾驶系统中的不确定性感知场景

智驾最前沿 2024-02-27 08:09
【有奖直播】深入学习Microchip时钟和全新单片机方案 精密双向电流感应放大器设计方案
--关注、星标、回复“SOA”--
↓↓免费领取：面向智能车辆开发的开放性SOA方案↓↓
ADS系统分层架构
ADS主要是由高速场景向城市道路场景演进来落地领航辅助NOA功能。随着车辆传感器等高性能硬件配置增加、大算力平台的构建、以及AI算法的泛化能力提升，NOA全场景的落地节奏在明显加快。AI与场景的深度融合，推动ADS逐步实现从低速到高速，从载物到载人，从商用到民用，从阶段一提供L2高级辅助驾驶和L3拥堵高速公路副驾驶，发展到阶段二可以提供L3拥堵公路自动驾驶和L4高速公路自动驾驶，最终实现阶段三的L4城郊与市区自动驾驶和L5商用无人驾驶。
然而大量的分析表明，目前在很大的程度上自动驾驶车或者无人驾驶AVs的安全性能估计比人类驾驶明显要差一个数量级，虽然可以适应仿真和简单低遮挡的约束真实场景，但仍难以应对城市的复杂道路交通场景，包括恶劣天气环境，定位信号缺失，目标高度遮挡，有限全局视野，人车交互，车车交互，以及小尺寸目标或干扰目标等。场景动态适应能力问题，即所谓“Long-Tail Challenge” 长尾挑战，依旧是ADS当前待解决的主要难题之一。AVs使用体验数据显示，在暴风雨雪天气，车辆的控制由于打滑和oversteering等原因，目前是远低于用户期望的。
ADS算法的典型系统分层架构如图1所示，一般包括传感层，感知层，定位层，决策层和控制层。每个层面采用传统算法模型或者是与深度学习DNN模型相结合，从而实现ADS全程驾驶的人类可以接受的高可靠和高安全性，以及在这个基础上提供最佳能耗比、最佳用车体验、和用户社交娱乐等基本功能。

图 1. AI for AV: ADS技术栈案例 (Nageshrao, 2022)


ADS传感层的不确定性挑战

图 2. ADS传感层的不确定性与性能对比 (Khan, 2022)
如图2所示，ADS部署的传感器在极端恶劣场景(雨雪雾、低照度、高度遮挡、传感器部分失效、主动或被动场景攻击等)的影响程度是不一样的。所以传感器组合应用可以来解决单传感器的感知能力不足问题，常用的几种组合是：Camera+LIDAR; Radar(3D, 4D)+Camera+LIDAR(LD, HD)；Radar+Camera。统计数据表明Radar+Camera是最常见组合。ADS传感层总结如下:
  • Camera：可以提供360环视和远距前后视角的环境语义表征，但需要一个照明环境，单目和多目Camera可以提供一定程度的目标深度信息；受恶劣场景影响严重；镜头脏污会严重影响图像质量。
  • LIDAR：可以提供场景的空间信息；但难以检测有反光效应的或者透明的物体；当雨速高于40 mm/hr 到95 mm/hr，信号反射密度严重损失并产生雨枕现象；大雪天气下可视距离缩短并产生反射干扰波形；浓雾场景会产生鬼影现象；温差会产生额外时间延迟。
  • Radar：对周围车辆检测准确率高，可以提供目标的速度信息，4D Radar还可以提供目标高度的可靠信息；不适合做小目标检测；大雨浓雾和暴风雪会产生接收信号强衰减和斑点噪声，总体对环境的适应性高。


ADS感知层的不确定性挑战

ADS感知层的主要应用场景包括高速公路，城郊与市区道路；十字路口，交通环岛，潮汐公路；隧道，停车场等，其主要任务是基于多模的2D/3D人车物目标识别，动态目标跟踪与速度识别，交通标志识别，车道线识别，红绿灯识别，路面可行驶区域语义分割，路面障碍检测，盲区检测，交通事件检测，司机打瞌睡检测等。与此对应的核心产品特性包括：碰撞预警，紧急刹车，车道偏离预警，传感部分失效预警；车道变道，车道并道，路口通行，行为预测，轨迹预测，轨迹规划；车速控制，转向控制等等。
ADS感知层的第一个挑战是可感知目标距离的挑战。远距离(250-300米)目标感知任务对高速行驶AVs的安全响应速度是至关重要的。对3D目标识别等视觉任务可说，随着感知距离增加，抽取高密度特征的AI主干网络的计算复杂度会按照二次元速度增加，对算力需求也加速度增加。
从图3的对比还可以看出，采用长距LIDAR可以提升感知距离，特征点可以覆盖更大的区域但更稀疏，同时也会产生”Centre Feature Missing(CFM)”即点云空心化或者叫黑洞的问题，极端场景包括近距离的超大车辆的中心特征缺失。解决CFM挑战问题的一般方法是在BEV特征空间依赖卷积操作通过特征发散来提供中心区域的感知场，或者通过点云中非空的区域来预测中间空心区目标，代价是目标预测误差和不确定性的输出结果，或者通过连通域打标签CCL进行Instance Point Group进行插值和滤波，以及整个点云的超分变率Super-Resolution来改善性能。
图 3. 短距LIDAR点云(红色，75米)与长距LIDAR点云(蓝色，200米)对比案例 (Fan, 2022)
ADS感知层的第二个挑战是目标遮挡即感知盲区的挑战。单纯依赖AVs自身360全方位近距感知和远距感知，很难能够让ADS从理论上完全超越人类的驾驶水平，通过预测预警达到更低的交通事故率和提供更好的人身安全。
如图4所示的对比案例，可以看出车路协同可以有效解决盲区与上述所说的长距感知的挑战，但对应的缺点也不言而喻，部署的成本与长期可靠运营费用以及如何防网络攻击问题，这决定了对乡村和偏远地区的场景，需要寻求AVs自身的多模感知认知决策能力提升。
图 4. 独立感知与车路协同感知对比案例 (Mao, 2022)
图 5. 多视觉的目标多模感知与融合识别案例 (Mao, 2022)
如图5所示，V2X的可行解决方案包括交通要道部署的RSU Camera，LiDAR, 或者Radar，对算法设计来说，需要解决海量点云数据的压缩与实时传输，以及针对接收数据的时间轴同步，多模感知与特征融合目标识别等。
目前这个领域基于Transformer在BEV空间进行多任务多模态的融合感知已经有了一些长足进展，融合的方式也可以自由组合，包括多视觉的Camera视频融合，以及 Camera与LiDAR或者Radar的组合融合模式，对点云数据的超分变率会改善融合效果，但融合对延迟非常敏感。
ADS感知层的第三个挑战是恶劣场景的挑战。如图6所示，4D 高清Radar发送的毫米波，可以有效穿越雨滴和雪花，不受低照与雨雪雾天气影响，但会受到多径干扰问题影响，总体来说对环境的适应性高，单独或者组合应用对2D/3D目标检测非常有优势，同时还可以提供高精度的目标高度和速度信息，可以有助于ADS的预测规划性能提升。
图 6. 4D Radar，Camera， LiDAR点云的3D目标检测识别对比案例 (Paek, 2022)
转载自车端，文中观点仅供分享交流，不代表本公众号立场，如涉及版权等问题，请您告知，我们将及时处理。

-- END --

登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
智驾最前沿 「智驾最前沿」深耕自动驾驶领域技术、资讯等信息，解读行业现状、紧盯行业发展、挖掘行业前沿，致力于助力自动驾驶发展与落地！公众号：智驾最前沿
评论
  • RE超标整机定位与解决详细流程
    时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备，对整机的辐射发射进行精确测量。确认是否存在RE超标问题，并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆：步骤一：拔掉所有信号电缆，仅保留电源线，再次测量整机的辐射发射。若测量合格：判定问题出在信号电缆上，可能是电缆的共模电流导致。逐一连接信号电缆，每次连接后测量，定位具体哪根电缆或接口导致超标。对问题电缆进行处理，如加共模扼流圈、滤波器，或优化电缆布局和屏蔽。重新连接所有电缆，再次测量
    时源芯微 2024-12-11 17:11 65浏览
  • 12-9学习笔记
    习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据
    【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究，进一步扩展至 OLED 屏幕显示。该项目整体分为两部分： 一、框架显示； 二、数据采集与填充显示。为了减小 MCU 负担，采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 天问Block和Mixly
    天问Block和Mixly是两个不同的编程工具，分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较： 基本定义 天问Block：天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly：Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件，旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block：支持STC全系列8位单片机，32位
    丙丁先生 2024-12-11 13:15 45浏览
  • 霍尔电流传感器的应用
            在有电流流过的导线周围会感生出磁场，再用霍尔器件检测由电流感生的磁场，即可测出产生这个磁场的电流的量值。由此就可以构成霍尔电流、电压传感器。因为霍尔器件的输出电压与加在它上面的磁感应强度以及流过其中的工作电流的乘积成比例，是一个具有乘法器功能的器件，并且可与各种逻辑电路直接接口，还可以直接驱动各种性质的负载。因为霍尔器件的应用原理简单，信号处理方便，器件本身又具有一系列的du特优点，所以在变频器中也发挥了非常重要的作用。  &nb
    锦正茂科技 2024-12-10 12:57 76浏览
  • 深入解析J1939-73：车辆诊断通信的标准与应用
    一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会（SAE，Society of Automotive Engineers）定义的一种用于重型车辆和工业设备中的通信协议，主要应用于车辆和设备之间的实时数据交换。J1939基于CAN（Controller Area Network）总线技术，使用29bit的扩展标识符和扩展数据帧，CAN通信速率为250Kbps，用于车载电子控制单元（ECU）之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 68浏览
  • 低成本解决方案,RK3506的应用场景分析!
    RK3506 是瑞芯微推出的MPU产品，芯片制程为22nm，定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点，适合用多种工商业场景。本文将基于RK3506的设计特点，为大家分析其应用场景。RK3506核心板主要分为三个型号，各型号间的区别如下图：​图 1  RK3506核心板处理器型号场景1：显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出，且支持2D图形加速，轻松运行QT、LVGL等GUI，最快3S内开
    万象奥科 2024-12-11 15:42 65浏览
  • 擎耀解码智能汽车可替换LED前照灯控制运行组成原理方案
    智能汽车可替换LED前照灯控制运行的原理涉及多个方面，包括自适应前照灯系统（AFS）的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制，表现特殊点的有特斯拉，仅通过前车身控制器，整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体，开关之间通过内部线束和转向柱装置连接为多，
    lauguo2013 2024-12-10 15:53 78浏览
  • 罗姆与台积公司在车载氮化镓功率器件领域建立战略合作伙伴关系
    全球知名半导体制造商ROHM Co., Ltd.（以下简称“罗姆”）宣布与Taiwan Semiconductor Manufacturing Company Limited（以下简称“台积公司”）就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系，双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来，满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • Cyclone V GX FPGA设计TDC的优化问题
    概述 通过前面的研究学习，已经可以在CycloneVGX器件中成功实现完整的TDC（或者说完整的TDL，即延时线），测试结果也比较满足，解决了超大BIN尺寸以及大量0尺寸BIN的问题，但是还是存在一些之前系列器件还未遇到的问题，这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下，意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢？本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 101浏览
  • 不得不拆解修理台式组合音响
    我的一台很多年前人家不要了的九十年代SONY台式组合音响，接手时只有CD功能不行了，因为不需要，也就没修，只使用收音机、磁带机和外接信号功能就够了。最近五年在外地，就断电闲置，没使用了。今年9月回到家里，就一个劲儿地忙着收拾家当，忙了一个多月，太多事啦！修了电气，清理了闲置不用了的电器和电子，就是一个劲儿地扔扔扔！几十年的“工匠式”收留收藏，只能断舍离，拆解不过来的了。一天，忽然感觉室内有股臭味，用鼻子的嗅觉功能朝着臭味重的方向寻找，觉得应该就是这台组合音响？怎么会呢？这无机物的东西不会腐臭吧？
    自做自受 2024-12-10 16:34 136浏览
  • 搭载紫光展锐芯！全球首款同传翻译眼镜INMO GO2重磅上市
    近日，搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜，INMO GO2 以“快、准、稳”三大核心优势，突破传统翻译产品局限，为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片，是紫光展锐4G旗舰级智能穿戴平台，采用四核处理器，具有高性能、低功耗的优势，内置超微高集成技术，采用先进工艺，计算能力相比同档位竞品提升4倍，强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 44浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦