本文来源同济智能汽车研究所
编者按:随着自动驾驶技术的快速发展,环境感知系统已成为智能车辆导航的核心。本篇文章展示了一种基于激光雷达(LIDAR)的环境感知方案,旨在同时实现环境建图和移动障碍物的检测。该研究基于多层、多回波的LIDAR传感器,通过全局和局部网格的融合方法,不仅解决了复杂城市环境中障碍物的识别问题,还提出了一种高效的动态物体检测策略。实验验证显示,该方案在处理快速移动物体和动态环境中的表现尤为出色,展示了其在自动驾驶领域的应用潜力。此研究为LIDAR感知的多模态数据处理提供了创新思路,进一步提升了自动驾驶汽车在复杂城市环境中的导航能力。文章不仅为研究人员和工程师提供了可行的技术参考,也为智能驾驶的商业化应用奠定了基础。
《A lidar Perception Scheme for Intelligent Vehicle Navigation》
2010 11th International Conference on Control Automation Robotics & Vision, Singapore, 2010, pp. 1809-1814.
Julien Moras; Véronique Cherfaoui; Phillipe Bonnifait
摘要:在城市环境中,移动障碍物的检测和自由空间的确定是驾驶辅助系统或自动驾驶车辆的关键问题。本文提出了一种基于激光雷达的乘用车感知系统,能够同时进行映射和移动障碍物检测。目前,许多激光雷达提供多层和多回波测量。处理这种多模态的一种聪明方法是在全局和局部框架中使用投影在路面上的网格。全局框架生成映射,局部框架用于处理移动物体。已经开发了一种基于正负积累的方法来解决快速移动障碍物的残余问题。这种方法也非常适合于多层和多回波传感器。在IBEO Alasca和Applanix定位系统上进行的实验结果表明了这种感知策略的性能。
关键词:智能车辆,环境感知,地图,移动目标检测
在城市地区,用于人类交通的自动驾驶汽车正在成为现实。事实上,世界上的几项工作已经显示出一些令人印象深刻的成果。然而,城市环境下的自动驾驶仍然是一个问题,需要对场景的理解来预测其演变。感知系统使用不同的传感器,测量结果可能有噪声、有偏差或不完整。新的激光雷技术(多层、多回波)可以通过显著增加测量次数来解决这一问题。这种传感技术即使激光束被部分反射,也能提供对周围环境的可靠感知。感知问题可以分解为不同的部分:定位、映射和移动物体的检测和跟踪。
自我定位(EL):定位任务是机器人应用中反复出现的问题。GPS、惯性测量单元(IMU)、本体感知或外感知里程计是智能辆的主要解决方案。如今,可靠的亚公制定位系统已经存在,但它们对于商业应用来说仍然过于昂贵。
映射(M):许多机器人作品用不同的方法处理了静态环境的映射。通常,映射与定位任务相结合,以解决SLA(Simultaneous localization And mapping)问题[1],[2],[3]。主要存在两种方法:基于特征的方法尝试用一组预先确定的几何形状(线段、弧线等)进行映射,网格方法基于离散空间表示,使得数据关联和融合更容易。
移动目标检测和跟踪(MOT):SLAM方法对场景中移动物体的存在非常敏感。事实上,这些算法是基于映射过程的时间相干性。解决这个问题的一种方法是检测和跟踪运动物体[4],[5],[6],[7]。通常,检测和跟踪系统是在基于特征的框架中开发的,分为3个步骤:用于对象检测的原始数据聚类、数据关联和时间融合。误差的主要来源是在聚类阶段和关联步骤。最近的一些作品使用了参数模型[8]。使用网格方法解决MOT问题并不常见,但一些与贝叶斯占用过滤器(BOF)相关的工作[9]倾向于通过具有特定标准的聚类单元来解决该问题。
在这项工作中,考虑一个在平面世界中移动的移动机器人。由于假设是在城市环境中,因此可能会有很多障碍物和很多移动物体,如图1所示。在本文中,没有考虑自我定位(EL)问题,这就是为什么使用定位系统“Applanix Pos LV 220”,这是一个集成的多传感器系统,可以提供非常精确的车辆3D姿态(位置和方向)。另外两个问题(M和MOT)是联系在一起的,因为它们处理的是感知系统。主要的区别在于对象的移动性。这是用来做分类的标准。为了管理这个策略,使用了基于网格的框架。
本文提出了一种感知方案,主要用于探测周围的移动物体,允许在存在移动物体的情况下映射静态环境。这种检测策略可以在跟踪算法中使用,以便能够预测导航应用的空闲空间。这种方法的主要优点是没有聚类阶段,适用于各种各样的城市障碍物(行人、车辆、自行车等)。它还可以应对新一代激光雷达频繁出现的多回波测量。
在第一部分中,提出了融合传感器数据的框架。然后,提出了基于accu-的融合策略模拟将在展示实验结果的一节之后进行描述。
图1 城市情况:红色小车配备了多层激光雷达
本文使用二维网格表示,定义为投影在地板上的离散空间。网格的每个单元格代表一块空间,并包含根据对环境的感知计算出的数据。本文使用对偶空间表示:一个称为扫描网格(SG)的瞬时局部地图,它由大小为的极性单元组成(是长度,表示角扇区)和一个称为网格地图(GM)的全球地图,这是世界上引用的笛卡尔地图。笛卡尔单元格是长度的平方。本节介绍如何根据传感器模 型和环境模型定义这些图。
A. 激光雷达扫描
使用的传感器是IBEO阿拉斯加激光雷达。它是一个四扫描传感器,在每次扫描时提供环境的3D点云。该传感器可以在320°的前场范围内进行长达200米的测量,根据所需的角度分辨率,速率从8Hz到40hz不等。它使用905nm波长的红外激光器,孔径为0.25°。角度分辨率可根据如图(2)所示的角度进行自适应。例如,如果激光束被障碍物部分反射,该传感器还能够在每条视线上提供多个回声。另一个特点是,它可以在考虑的瞄准线上不返回任何测量结果。如果没有回波,可能有两种情况:在最大范围内没有物体,或者有障碍物没有反射激光束。因此,本文提出的传感器模型要考虑到这些传感器的特殊性。
B. 多回波扫描网格
利用传感器模型,可以从每次激光雷达扫描中建立扫描网格(SG),这是一个二维局部瞬时占用网格。由于激光雷达是一个极坐标传感器,因此使用极坐标网格模型来计算细胞的占用情况。传感器精度高于网格分辨率,网格以传感器为中心。因此,可以使用理想的传感器模型作为图4顶部所示的1D显式解。考虑扫描网格,设SG表示取整数值的单元的状态,指的是表1所描述的单元的三种不同状态。该值的强度对应于冗余度,即置信度的度量。
表1 扫描网格赋值表
图2 阿拉斯加XT角分辨率与测量角度和频率的关系
图3 多回波传感器模型
图3说明了这一点。扫描网格的每一行对应一个角扇区。在这个扇区中,有几个回波是可能的,因为有三个原因:i)在一个方向上有可能接收到几个回波,ii)在同一平面上的4层投影可以提供位于不同距离的回波,iii)激光雷达的角分辨率不是恒定的,有时比网格的分辨率好一些(几个激光雷达方向可以在极地网格的同一列上投影)。因此,值得注意的是,这种网格传感器模型考虑了多重回波能力。SG初始化为0,每个角度独立处理,如图3所示,每次测量增加相应单元的值,减少第一个被占用单元之前的单元的值。负信息表征了空闲空间。两个被占用细胞之间的细胞和最后一个检测到的细胞后面的细胞在0处受到影响。图4给出了一个SG的例子,其中观察到多次回波。
图4 多回波传感器模型:左图为场景的摄像机视图,右图为笛卡尔坐标系下投影的SG,白色单元格被占用,黑色空闲,灰色未知。
C. 网格地图
网格地图(grid-map,GM)被定义为一个全局累积的二维网格,并存储映射信息。它是一个笛卡尔地图,每个大小为的单元格都是全局空间的2D投影的一部分。通过全局,这个网格被引用到一个被认为是固定的东-北-上框架。GM用于创建基于激光雷达的区域感知地图。这意味着场景的所有静态元素都将被映射,包括停放的汽车等伪静态元素。
D. 从扫描网格到网格地图
该方法的一个关键点是,SG可以使用Applanix传感器提供的姿势在GM框架中投影,如图5所示。首先,使用双线性插值将极坐标网格转换为笛卡尔网格。然后,应用笛卡尔SG变换来进行投影。这包括一次旋转和一次平移。旋转是通过双线性变换完成的,因为每个投影单元可能部分投影到几个单元上。双线性变换可能会插值值,因此,在变换后的单元格中,值是极坐标单元格邻域值之间的混合物。这会导致边缘平滑。
图5 使用SG和GM的连续转换
应用于GM的处理体系结构如图6所示。本节详细介绍了使用累加算法的GM更新阶段。第Ⅱ节中提出的框架是通用的,可以使用概率或证据融合框架,而不是使用所提出的积累算法进行融合。描述了积累过程来解决映射和移动对象跟踪(MMOT)的问题。
图6 GM过程的体系结构
A. GM中消极和积极的积累
在累积策略中,GM的每个单元存储一个表示当前占用累积水平的指示器。
极限表示空闲细胞,而表示已占用细胞。该地图初始化为平均值在所有单元格中。这意味着没有对环境的先验知识。
更新过程使用来自SG的值提供正累积或负累积。增量过程旨在通过像二维直方图一样整合占用测量值来构建地图[10]。最近的一些研究使用了类似的方法来解决SLAM问题[11]。这项工作侧重于定位问题,使用地图上的匹配来实现里程计。相反,在本文的方法中,提供了定位,没有匹配或数据关联,因为算法只是执行过滤以提取移动对象。
映射步骤由3个阶段组成。
调整计算
使用GM帧中投影的SG,根据单元值的符号计算校正项(图7)。
图7 一个细胞内的正负积累机制
首先,使用增益增加被占用细胞的积累水平。这执行了静态世界的映射,但移动障碍物穿过的细胞也增加了。静态障碍物和移动障碍物的主要区别在于,移动障碍物不会一直占据相同的位置。在移动的物体离开单元格后,被占据的单元格将变得自由。
这就是为什么使用增益来减少空细胞的原因。这种负积累过程具有不可忽略的响应时间。为了减少这种滞后,必须大于。这种解决方案的一个特殊问题是,每次扫描时没有检测到的小障碍物将不会被映射。
更新
更新过程是一个集成。它是通过将累积水平与修正项相加来实现的:
其中和分别为图7所示时刻t的积累水平和修正项。
调质
在这种整合方法中,累积水平取决于几个参数:占用率、整合时间和物体相对于单元大小的可见比例。为了解决这个问题,饱和度限制了积累水平。图8显示了一个单元格根据SG值的累积级别行为。
图8 在第1部分中,没有扫描单元格:没有改变。在第2部分中,单元格被扫描为空:减少,直到阈值。在第3部分中,检测到单元格被占用:以不同于的速度增加。在第4部分中,经过几次迭代后,单元格被声明为空。
B. 移动对象检测
本文提出的检测方法是将当前SG与GM进行比较,由于变换(极坐标/笛卡尔变换和局部/全局变换),SG在GM上的投影不包含整数值,而是包含实数。SG单元与检测阈值进行比较,以便仅考虑包含对象的单元。然后,将相应GM细胞的Al与分类阈值进行比较,以确定细胞是否被移动或静态物体占用。图9解释了分类方案。
图9 占用单元的的行为取决于对象的动态。在左边,静态对象在几次后达到阈值。在右边,被移动物体占据的细胞在细胞被检测的时间内没有达到阈值。
A. 实验装置
之前提出的算法在城市条件下用真实车辆获取的数据集上进行了测试。完整的数据集是一个20分钟长的序列,是与巴黎的法国地理研究所(IGN)合作获得的。车辆沿着参考轨迹(图10)重复3次。
图10 顶部是测试车辆,前方有激光雷达传感器,底部是车辆跟随的轨道
本文利用3个传感器提供的数据:激光雷达Alasca XT,Applanix定位系统和一个摄像头。为了实现传感器间数据的同步,采用了GPS时间戳。激光雷达的安装方式是使其最底层水平。它的采集频率为15Hz,车前角分辨率最大为0.25°,侧角分辨率最大为1°。Applanix定位系统由2个GPS、1个IMU和1个里程传感器组成。通过将其输出与其他2个定位系统IXSEA LandINS(通常用作地面真值的高精度定位解决方案)进行比较,评估了精度的质量。相机是由激光雷达触发的:这简化了同步问题。这个摄像头安装在前保险杠激光雷达的正下方。到目前为止,该摄像头仅用于验证和场景可视化。
SG覆盖范围200米,角场180°,距离分辨率0.5m,角分辨率1°。使用的全球GM面积为800m×700m,分辨率为0.5m。
该算法已在MATLAB中实现。在目前的实现中,它不是实时的:在笔记本电脑(英特尔迅驰2Ghz)上计算和显示一步需要1.5s。
在这个实现中,增益被设置为1,而的值为[0 30],这意味着在每次扫描时检测到静态元素映射的情况下,静态元素映射的最大延迟为2s。为了增加系统对移动对象映射的反应性,递减增益必须高于。在本实验中,被设置为5。本文没有选择一个太重要的值,以避免错误的测量对地图产生重大影响。检测阈值设置为0.5,分类阈值设置为10。所有这些值都是通过试测的方式固定下来的。
B. 结果
验证分两步进行。首先是映射的验证,然后是分类的验证。
映射验证已经使用IGN提供的参考空闲空间映射完成。这张地图没有考虑到一些长时间静止物体的存在,比如停着的汽车。
分类验证是通过使用来自相机的图像进行的。这里用几个场景(十字路口、穿越汽车等)进行说明,后面会详细说明。
1)制图结果:本文将参考轨道一个循环期间生成的地图(图11)与IGN提供的称为“自由空间地图”的地图进行比较。这张自由空间地图是路面的3D网格,它是由专家操作员使用摄影技术从高分辨率航空图像中手动创建的。
本文想要提出的关键点是,尽管场景中存在许多移动物体,但像建筑物这样的静态物体被正确地映射出来,并且正确地确定了自由空间。根据传感器的视场,可以使用不同的激光雷达层来映射几个对齐的物体,比如停放的汽车和建筑物。由于移动的物体不能被及时跟踪,并且可能瞬间变成静止的(例如,在交通灯前停车),因此它们在GM中可能会出现静态环境。当移动物体在停车时离开自我车辆传感器的视野时,这个问题就会出现。小物体(一般小于0.5m或空心物体),如障碍物或路标,无法使用所提出的方法正确映射。这主要是由于传感器模型网格分辨率的问题。
图11 GM与自由空间图对比,黑色为被映射占用的细胞,灰色为自由空间的二维投影
2)分类结果:下面从完整序列中提取的两个场景展示了算法在不同情况下的分类性能。分类输出在GM上表示,与映射叠加,使用两种颜色。绿色细胞被认为是移动的,而蓝色细胞被认为是静态的。第一列包含车辆周围GM的缩放部分和分类对象。在第二列中,给出了场景视图(摄像机已安装在与激光雷达相同的高度)。检测到的对象在这里使用边界框手动高亮显示,以便在GM中检测到的对象与其在图像中的位置之间建立链接。
十字路口
这个场景如图12所示。自我车辆停在一个十字路口,前面有两辆车穿过。车辆以很高的径向速度从左右两侧驶来。汽车被正确检测到,而货车部分未被分类。
过马路的行人
这个场景如图13所示。车辆驶近一个十字路口,为了让两名行人过马路而停车。行人由于走得慢,部分误分类。
可以注意到,与激光雷达(≈140°)相比,相机(≈70°)的视野很小。因此,侧面的物体在图像上可见之前被激光雷达检测到。
移动的车辆被很好地探测到。在长车辆的情况下,已经观察到一些漏检,因为它们的长尺寸在相当长的时间内引起空间积累。
图12 十字路口的场景
图13 行人过马路的场景
如果物体移动太慢,比如行人在过马路前在人行道上等待,也会发生漏检。通过使用更高分辨率的地图,分类结果可能会得到改善。
本文提出了一种基于局部和全局网格相互作用的感知融合方案。这项工作的贡献在于提出了一种可以提供导航空间、移动障碍物和静态物体的智能方法。在其目前的实现中,精确的定位是一个先决条件。本文在这里报告的结果说明了这种策略在检测移动物体方面的良好性能,这是感知中关键的数据处理步骤。一种观点是分析航位推算定位方法(例如使用激光雷达里程计)将如何降低该方法的性能。另一种观点是使用像IGN地图这样的先验信息,以便从先验地图开始,或者通过过滤道路上的物体来提高检测性能。
在这里,数据融合简单地使用饱和的正负积累来完成,使用无积累来管理知识的缺失。这种策略对于捕获来自所有激光雷达回波的信息片段非常有效。最后,这种融合框架可以适应其他融合范式的实现,如贝叶斯或证据范式。为了在严格的框架中处理信息缺失问题,证据融合方法是本文的主要视角。
责编丨高炳钊