自动驾驶系统中感知轻地图的获取设计方案

智驾最前沿 2023-10-17 08:02

--关注、星标、回复“大模型”--

↓↓免费领取:大模型赋能自动驾驶研究↓↓

在过去的几十年里,视觉映射和定位的研究变得越来越流行。传统的基于视觉的方法侧重于同时定位和小规模室内环境中的地图绘制 (SLAM)。在自动驾驶任务中,方法更注重大范围的室外环境。2030 年为车云链路产业规模基本成型期望年限,车云链路的成熟为轻地图方案和图商自身业务发展的发展带来巨大效益。

欢迎关注「智驾最前沿」微信视频号

行业内对于高精地图和轻地图的方案也是争论不休,目前很多厂家或者 Tier1 已经倾向于采用轻地图方案来代替高精地图来实现基础的融合定位功能。如下表表示了行业内典型的地图应用案例分析以及轻地图和高精地图的设计原理上的差异。


常规地图分类概述

为了弄清整体的轻地图方案,这里需要将常规的几类地图功能进行对别分析。通常,我们的地图分类主要包括导航地图 SD、专业版导航地图 SDPro、ADAS 地图、高精地图 HDLite 版、高精地图 HD、众包地图。以上几种地图拥有其各自不同的特性,在实际融合定位和地理信息识别中起到了不同的作用。

序号

地图分类

特征信息

1

导航地图 SD

1 路由寻径:起始点搜索、导航路径树

2 交通信息:道路级限速

3 信息点:兴趣点、地址信息

4 基础路网:道网数据、拓扑信息

2

专业版导航地图 SDPro

1 路由寻径:起始点搜索、导航路径树

2 交通信息:道路级限速

3 车道信息:车道中心、车道边界、道路边界

4 信息点:兴趣点、地址信息

5 参考线:道路参考线、道路信息与拓扑

3

ADAS地图

1 路由寻径:起始点搜索、导航路径树

2 交通信息:道路级限速

3 几何信息:曲率、航向、横坡、纵坡

4 车道信息:车道中心、车道边界、道路边界

5 信息点:兴趣点、地址信息

6 参考线:道路参考线、道路信息与拓扑

4

高精地图 HDLite 版

1 路由寻径:起始点搜索、导航路径树

2 交通信息:车道级限速、车道限制信息

3 几何信息:曲率、航向、横坡、纵坡

4 车道信息:车道中心、车道边界、道路边界及对应详细信息

5 参考线:道路参考线、道路信息与拓扑

5

高精地图 HD

1 路由寻径:起始点搜索、车道级导航路径

2 对象信息:箭头、信号灯、标牌、导流区、护栏、收费

3 交通信息:车道级限速、车道限制信息

4 几何信息:曲率、航向、横坡、纵坡

5 车道信息:车道中心、车道边界、道路边界及对应详细信息

6 参考线:道路参考线、道路信息与拓扑

6

众包地图

道路拓扑、路径规划、对象信息、车云链路

如上表所示,与 SD 相比,SDPro 地图增加了基础车道信息,可支持抬头显示功能开发;而 ADAS 地图又增加了曲率、坡度、航向道路几何信息;HDLite 相对于 ADAS 信息来说,要素种类相当,但是其精度略高于 ADAS 地图。HD 地图在 ADAS 地图基础上又增加了详细的对象信息,丰富了交通限制信息,信息精确至车道级。同时,在 HDLite 基础上增加了对象信息。考虑到地图新鲜度和更新速度,众包地图又通过单车智能感知、逻辑运算等,利用强大的车云、云云、车车链路,实时生成、更新、共享在线地图。


感知轻地图的获取设计方案

如下图,表示了整个感知语义地图过程需要应用到的关键技术和方法:

第一部分是车载映射。使用配备前视摄像头、RTK-GPS 和基本导航传感器(IMU 和车轮 编码器)的车辆。这些车辆一般搭载在各个运营车上,每天收集大量实时数据,通过分割网络从前视图图像中提取语义特征。然后基于优化的车辆姿态将语义特征投射到世界框架,在车辆上构建本地语义地图。该本地地图后续会被上传到云地图服务器。

第二部分是云端映射。云服务器从多辆车收集本地地图,当地地图合并成一张全局地图。然后通过轮廓提取对全局地图进行压缩。最后,将压缩后的语义图发布给最终用户。

最后一部分是最终用户本地化。最终用户是量产车,它们配备低成本传感器,例如摄像头、低精度GPS、IMU和车轮编码器。终端用户从云服务器下载语义地图后对其进行解码。与车载测绘部分相同,通过分割从前视图图像中提取语义特征。车辆通过语义特征匹配在地 图上定位。

整个通过感知建图的过程系统由如下几个步骤完成,其中包括图像分割、姿势图优化、 本地映射、地图合并更新、地图压缩几个模块。

相应的设计原理如下:

1、图像分割

本文将前视图像分割成多个类,如地面、车道线、停止线、路标、路缘、车辆、自行车和人。在这些类别中,地面、车道线、停止线和道路标记用于语义映射。其他类可以用于其他自动驾驶任务。

如下图所示为一个图像分割的例子。图(a)显示了前视摄像头拍摄的原始图像。图(b) 显示相应的分割结果。图(c)(d)(e)(f)则表示了相应的语义建图到车辆坐标系下的适配过程。

从图像分割来看,每个点都包含一个类标签(地面、车道线、路标和人行横道)。每个点代表世界框架中的一个小区域。车辆在行驶过程中,可以对一个区域进行多次观察。然而, 由于分割噪声,这个区域可能分别进入不同的分类。为了克服这个问题,可以使用统计数据来过滤噪音。地图分为小格子,分辨率为 0:1×0:1×0:1 米。每个网格的信息包含位置、语义标签和每个语义标签的计数。语义标签包括地面、车道线、停止线、地面标志和人行横道。

一开始,每个标签的分数都是零。当一个语义点被插入到一个网格中时,相应标签的分数增加 1。因此,得分最高的语义标签代表网格的类别。通过这种方法,语义图变得准确并且对分割噪声具有鲁棒性。分割后,语义像素从图像平面反向投影到车辆坐标下的地平面。此过程也称为逆透视映射 (IPM)。过程中的投影矩阵包含相机内外参数标定,而摄像机的内在参数和从摄像机到车辆中心的外在变换是离线标定的。由于存在透视噪声,场景越远,误差越大。可以只选择感兴趣区域(ROI)中靠近相机中心的像素。比如,此 ROI 表示车辆前方的 12m × 8m 矩形区域。

假设地面是平面,每个像素[u; v] 投影到车辆坐标下的地平面(z 等于 0),如下公式所示,

其中 πc(·) 是相机的畸变和投影模型。πc(·)−1 是逆投影,它将像素提升到空间中。[Rc tc]是每个相机的外部矩阵关于车辆的中心;[u v]是像素位置图像坐标;[xv yv] 是特征在车辆的中心坐标;λ是标量。[]coli:的意思取该矩阵的第 i 列。图像中ROI 中的每个标记像素都投影在车辆前方的地面上。

2、姿势图优化

姿态图优化每时每刻都提供可靠的车辆姿态。基于这个优化的姿势,第 i 帧中捕获的语义特征从车辆坐标转换为全局坐标,如下公式表示:

要构建地图,车辆的准确姿态是必要且准确的。虽然使用了 RTK-GNSS,但它不能始终保证可靠的位姿。因为,即便是在开阔地带 RTK-GNSS 也只能提供厘米级定位。而在城市场景中,它的信号很容易被高楼遮挡。通常,我们采用导航传感器(IMU 和轮速)来实现在 GNSS 封锁区域提供里程计。然而,这样的里程计长期也存在累积漂移问题。

这个问题可以用如下图所示的示意图表示。

蓝线是GNSS良好区域的轨迹,由于使用的高精度RTK GNSS,可以认为它是准确的。在 GNSS 阻断区,里程计轨迹用绿色绘制,漂移很大。为了缓解漂移,就需要对位姿图执行优化。优化后的轨迹用红色画出,平滑无漂移。

右图是姿势图示意图。蓝色节点是状态特定时间的车辆,其中包含位置 pt 和方向 Rt。有两种边缘。这里有两种边缘,蓝色边缘表示 GNSS 约束,仅存在于 GNSS 信号状态好的时刻,它只影响一个节点,绿色边是里程计约束,它随时存在,它约束两个相邻节点。蓝色节点是车辆在某一时刻的状态s,包含位置 p 和方向 q。我们使用四元数 q 来表示方向。操作 R(q) 可以将四元数转换为旋转矩阵。

由此,位姿图优化的过程可以表示为以下等式:

其中s是姿势状态(位置和方向)。ro 是里程计因子的残差。m^oi−1  ;i 是里程计测量值,它包含两个相邻状态之间的增量位置 δp^i−1;i 和方向 δq^i−1;i。rg 是 GNSS 因子的残差。G 是 GNSS 在信号好区域的状态集。m^ig  是 GNSS 测量值,即全局坐标系中 的位置 p^i。

3、本地映射

该语义图进一步用于本地化。与映射过程类似,语义点是从前视图像分割中生成的,并投影到车架中。然后通过当前特征点与地图的匹配来估计车辆的当前位姿,估计采用通用的 ICP 方法,可以写成以下等式:

其中 q 和 p 是四元数和当前帧的位置。S 是当前特征点的集合,[xvk ykv 0]为车辆坐标下的当前特征,[xwk ykw zkw]是全局坐标下目标在地图中的最近点。

最后采用扩展卡尔曼滤波器EKF 框架,将里程计与视觉定位结果融合在一起。该滤波器不仅增加了定位的鲁棒性,而且平滑了估计的轨迹。

4、地图合并/更新

云地图服务器用于聚合多辆车捕获的海量数据。它及时合并本地地图,以便全局语义地图是最新的。为了节省带宽,只将本地地图占用的网格上传到云端。与车载建图过程相同, 云服务器上的语义地图也被划分为分辨率为 0:1×0:1×0:1m 的网格。局部地图的网格根据其位置添加到全局地图。具体来说,将局部地图网格中的分数添加到全局地图上的相应网格中,这个过程是并行的。最后,得分最高的标签是网格的标签。

5、地图压缩

云服务器生成的语义地图将用于大量量产车的定位。然而,传输带宽和车载存储在量产车上是有限的。为此,语义地图在云端进一步压缩。由于语义图可以通过轮廓有效地呈现,可以使用轮廓提取来压缩地图。生成语义地图的顶视图图像,每个像素呈现一个网格。其次,提取每个语义组的轮廓。最后,轮廓点被保存并分发给量产车。

6、地图解压

当最终用户收到压缩地图时,语义地图从轮廓点解压缩。在俯视图像平面中,我们用相同的语义标签填充轮廓内的点。然后将每个标记的像素从图像平面恢复到世界坐标系中。


感知地图的关键能力总结

通过以下关键技术和方法的发展和完善,轻地图在自动驾驶系统中的应用将更加广泛和有效,为实现安全、高效的自动驾驶做出贡献。

1、地图数据压缩和存储

为了提高地图数据传输和查询的效率,轻地图需要进行有效的压缩和存储。采用矢量数据存储和层级结构设计,可以将地图数据按照不同粒度进行存储,有助于减小数据量并提高查询速度。

2、传感器融合

自动驾驶系统通常需要融合多种传感器数据,如 GPS、IMU、激光雷达、摄像头等,以获取更准确的车辆定位和环境感知信息。传感器融合算法需要考虑各种传感器的误差特性,实现高精度的定位和感知。

3、SLAM(Simultaneous Localization and Mapping)技术

SLAM 是一种在未知环境中实时构建地图并定位的技术,通常用于机器人和自动驾驶领域。通过 SLAM 技术,自动驾驶系统可以实现实时地图更新和高精度定位。

4、机器学习与深度学习

利用机器学习和深度学习算法,可以从大量驾驶数据中学习和提取有用的特征,用于路面识别、车道线检测、交通标志识别等任务。这些算法可以提高自动驾驶系统的感知能力和决策质量。

5、通信技术

为了实现实时地图更新和共享,自动驾驶系统需要与云端服务器进行高速、 稳定的通信。5G、V2X(车对车、车对基站通信)等先进通信技术可以支持高带宽、低延迟的数据传输,为自动驾驶系统提供实时的地图和交通信息。

6、安全性和隐私保护

自动驾驶系统需要确保地图数据的安全性和用户隐私。采用加密、认证等技术,保护地图数据和用户信息免受恶意攻击和滥用。同时,设计合理的数据处理和存储策略,遵守相关法规和标准。本文针对轻地图方案提供了一种用于自动驾驶任务中轻量级定位的新框架,其中包含车载映射、云端地图维护和用户端定位。使用传感器丰富的车辆(例如机器人出租车)来造福低成本量产车,传感器丰富的车辆收集数据和有地方更新环境信息的地方每天自动更新。

转载自焉知汽车,文中观点仅供分享交流,不代表本公众号立场,如涉及版权等问题,请您告知,我们将及时处理。

-- END --

智驾最前沿 「智驾最前沿」深耕自动驾驶领域技术、资讯等信息,解读行业现状、紧盯行业发展、挖掘行业前沿,致力于助力自动驾驶发展与落地!公众号:智驾最前沿
评论
  • 在物联网领域中,无线射频技术作为设备间通信的核心手段,已深度渗透工业自动化、智慧城市及智能家居等多元场景。然而,随着物联网设备接入规模的不断扩大,如何降低运维成本,提升通信数据的传输速度和响应时间,实现更广泛、更稳定的覆盖已成为当前亟待解决的系统性难题。SoC无线收发模块-RFM25A12在此背景下,华普微创新推出了一款高性能、远距离与高性价比的Sub-GHz无线SoC收发模块RFM25A12,旨在提升射频性能以满足行业中日益增长与复杂的设备互联需求。值得一提的是,RFM25A12还支持Wi-S
    华普微HOPERF 2025-02-28 09:06 143浏览
  •         近日,广电计量在聚焦离子束(FIB)领域编写的专业著作《聚焦离子束:失效分析》正式出版,填补了国内聚焦离子束领域实践性专业书籍的空白,为该领域的技术发展与知识传播提供了重要助力。         随着芯片技术不断发展,芯片的集成度越来越高,结构也日益复杂。这使得传统的失效分析方法面临巨大挑战。FIB技术的出现,为芯片失效分析带来了新的解决方案。它能够在纳米尺度上对芯片进行精确加工和分析。当芯
    广电计量 2025-02-28 09:15 116浏览
  • 一、VSM的基本原理震动样品磁强计(Vibrating Sample Magnetometer,简称VSM)是一种灵敏且高效的磁性测量仪器。其基本工作原理是利用震动样品在探测线圈中引起的变化磁场来产生感应电压,这个感应电压与样品的磁矩成正比。因此,通过测量这个感应电压,我们就能够精确地确定样品的磁矩。在VSM中,被测量的样品通常被固定在一个震动头上,并以一定的频率和振幅震动。这种震动在探测线圈中引起了变化的磁通量,从而产生了一个交流电信号。这个信号的幅度和样品的磁矩有着直接的关系。因此,通过仔细
    锦正茂科技 2025-02-28 13:30 100浏览
  • 在2024年的科技征程中,具身智能的发展已成为全球关注的焦点。从实验室到现实应用,这一领域正以前所未有的速度推进,改写着人类与机器的互动边界。这一年,我们见证了具身智能技术的突破与变革,它不仅落地各行各业,带来新的机遇,更在深刻影响着我们的生活方式和思维方式。随着相关技术的飞速发展,具身智能不再仅仅是一个技术概念,更像是一把神奇的钥匙。身后的众多行业,无论愿意与否,都像是被卷入一场伟大变革浪潮中的船只,注定要被这股汹涌的力量重塑航向。01为什么是具身智能?为什么在中国?最近,中国具身智能行业的进
    艾迈斯欧司朗 2025-02-28 15:45 221浏览
  • RGB灯光无法同步?细致的动态光效设定反而成为产品客诉来源!随着科技的进步和消费者需求变化,电脑接口设备单一功能性已无法满足市场需求,因此在产品上增加「动态光效」的形式便应运而生,藉此吸引消费者目光。这种RGB灯光效果,不仅能增强电脑周边产品的视觉吸引力,还能为用户提供个性化的体验,展现独特自我风格。如今,笔记本电脑、键盘、鼠标、鼠标垫、耳机、显示器等多种电脑接口设备多数已配备动态光效。这些设备的灯光效果会随着音乐节奏、游戏情节或使用者的设置而变化。想象一个画面,当一名游戏玩家,按下电源开关,整
    百佳泰测试实验室 2025-02-27 14:15 137浏览
  • Matter 协议,原名 CHIP(Connected Home over IP),是由苹果、谷歌、亚马逊和三星等科技巨头联合ZigBee联盟(现连接标准联盟CSA)共同推出的一套基于IP协议的智能家居连接标准,旨在打破智能家居设备之间的 “语言障碍”,实现真正的互联互通。然而,目标与现实之间总有落差,前期阶段的Matter 协议由于设备支持类型有限、设备生态协同滞后以及设备通信协议割裂等原因,并未能彻底消除智能家居中的“设备孤岛”现象,但随着2025年的到来,这些现象都将得到完美的解决。近期,
    华普微HOPERF 2025-02-27 10:32 212浏览
  • 振动样品磁强计是一种用于测量材料磁性的精密仪器,广泛应用于科研、工业检测等领域。然而,其测量准确度会受到多种因素的影响,下面我们将逐一分析这些因素。一、温度因素温度是影响振动样品磁强计测量准确度的重要因素之一。随着温度的变化,材料的磁性也会发生变化,从而影响测量结果的准确性。因此,在进行磁性测量时,应确保恒温环境,以减少温度波动对测量结果的影响。二、样品制备样品的制备过程同样会影响振动样品磁强计的测量准确度。样品的形状、尺寸和表面处理等因素都会对测量结果产生影响。为了确保测量准确度,应严格按照规
    锦正茂科技 2025-02-28 14:05 134浏览
  • 更多生命体征指标风靡的背后都只有一个原因:更多人将健康排在人生第一顺位!“AGEs,也就是晚期糖基化终末产物,英文名Advanced Glycation End-products,是存在于我们体内的一种代谢产物” 艾迈斯欧司朗亚太区健康监测高级市场经理王亚琴说道,“相信业内的朋友都会有关注,最近该指标的热度很高,它可以用来评估人的生活方式是否健康。”据悉,AGEs是可穿戴健康监测领域的一个“萌新”指标,近来备受关注。如果站在学术角度来理解它,那么AGEs是在非酶促条件下,蛋白质、氨基酸
    艾迈斯欧司朗 2025-02-27 14:50 400浏览
  • 应用趋势与客户需求,AI PC的未来展望随着人工智能(AI)技术的日益成熟,AI PC(人工智能个人电脑)逐渐成为消费者和企业工作中的重要工具。这类产品集成了最新的AI处理器,如NPU、CPU和GPU,并具备许多智能化功能,为用户带来更高效且直观的操作体验。AI PC的目标是提升工作和日常生活的效率,通过深度学习与自然语言处理等技术,实现更流畅的多任务处理、实时翻译、语音助手、图像生成等功能,满足现代用户对生产力和娱乐的双重需求。随着各行各业对数字转型需求的增长,AI PC也开始在各个领域中显示
    百佳泰测试实验室 2025-02-27 14:08 255浏览
  • 1,微软下载免费Visual Studio Code2,安装C/C++插件,如果无法直接点击下载, 可以选择手动install from VSIX:ms-vscode.cpptools-1.23.6@win32-x64.vsix3,安装C/C++编译器MniGW (MinGW在 Windows 环境下提供类似于 Unix/Linux 环境下的开发工具,使开发者能够轻松地在 Windows 上编写和编译 C、C++ 等程序.)4,C/C++插件扩展设置中添加Include Path 5,
    黎查 2025-02-28 14:39 140浏览
  •           近日受某专业机构邀请,参加了官方举办的《广东省科技创新条例》宣讲会。在与会之前,作为一名技术工作者一直认为技术的法例都是保密和侵权方面的,而潜意识中感觉法律有束缚创新工作的进行可能。通过一个上午学习新法,对广东省的科技创新有了新的认识。广东是改革的前沿阵地,是科技创新的沃土,企业是创新的主要个体。《广东省科技创新条例》是广东省为促进科技创新、推动高质量发展而制定的地方性法规,主要内容包括: 总则:明确立法目
    广州铁金刚 2025-02-28 10:14 103浏览
  • 构建巨量的驾驶场景时,测试ADAS和AD系统面临着巨大挑战,如传统的实验设计(Design of Experiments, DoE)方法难以有效覆盖识别驾驶边缘场景案例,但这些边缘案例恰恰是进一步提升自动驾驶系统性能的关键。一、传统解决方案:静态DoE标准的DoE方案旨在系统性地探索场景的参数空间,从而确保能够实现完全的测试覆盖范围。但在边缘案例,比如暴露在潜在安全风险的场景或是ADAS系统性能极限场景时,DoE方案通常会失效,让我们看一些常见的DoE方案:1、网格搜索法(Grid)实现原理:将
    康谋 2025-02-27 10:00 252浏览
  • 请移步 gitee 仓库 https://gitee.com/Newcapec_cn/LiteOS-M_V5.0.2-Release_STM32F103_CubeMX/blob/main/Docs/%E5%9F%BA%E4%BA%8ESTM32F103RCT6%E7%A7%BB%E6%A4%8DLiteOS-M-V5.0.2-Release.md基于STM32F103RCT6移植LiteOS-M-V5.0.2-Release下载源码kernel_liteos_m: OpenHarmon
    逮到一只程序猿 2025-02-27 08:56 195浏览
  • 2025年2月26日,广州】全球领先的AIoT服务商机智云正式发布“Gokit5 AI智能体开发板”,该产品作为行业首个全栈式AIoT开发中枢,深度融合火山引擎云原生架构、豆包多模态大模型、扣子智能体平台和机智云Aiot开发平台,首次实现智能体开发全流程工业化生产模式。通过「扣子+机智云」双引擎协同架构与API开放生态,开发者仅需半天即可完成智能体开发、测试、发布到硬件应用的全流程,标志着智能体开发进入分钟级响应时代。一、开发框架零代码部署,构建高效开发生态Gokit5 AI智能体开发板采用 “
    机智云物联网 2025-02-26 19:01 162浏览
  • 美国加州CEC能效跟DOE能效有什么区别?CEC/DOE是什么关系?美国加州CEC能效跟DOE能效有什么区别?CEC/DOE是什么关系?‌美国加州CEC能效认证与美国DOE能效认证在多个方面存在显著差异‌。认证范围和适用地区‌CEC能效认证‌:仅适用于在加利福尼亚州销售的电器产品。CEC认证的范围包括制冷设备、房间空调、中央空调、便携式空调、加热器、热水器、游泳池加热器、卫浴配件、光源、应急灯具、交通信号模块、灯具、洗碗机、洗衣机、干衣机、烹饪器具、电机和压缩机、变压器、外置电源、消费类电子设备
    张工nx808593 2025-02-27 18:04 120浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦