自动驾驶路径规划与行为预测最接地气详细综述

原创 汽车ECU开发 2022-07-27 08:19

1.介绍

图1:路径规划在决策控制三大子领域中的主要应用
首先需要说明的是:路径规划(本文不严格区分轨迹规划与路径规划的定义,一律按照路径规划称呼)并不止属于单车自动驾驶,在车队列协同控制、交通流车辆协同规划、人机共驾等等各个领域中路径规划普遍存在。单车自动驾驶中,规划算法可与预测类算法结合提高车辆安全性;车队列协同控制中,不论车队列控制形式为leader-following还是predecessor-following等等,总要有某个智能体进行规划,后续车辆跟随并保证队列稳定性;人机共驾中,在车辆控制权的动态平衡过程中,控制权倾向于人还是机取决于驾驶员的控制量与已规划出的控制量的偏差。
上述三类只是简单的分类,路径规划以不同的形式存在于其中,如图1所示。限于篇幅,本文主要针对第一种进行讲解,即单车自动驾驶下与预测类算法相结合的路径规划,后两种看情况再次投稿细说。

2.行为预测与路径规划

图2:常用决策控制框架
单车决策控制一般可分解为行为预测、轨迹规划、风险评估三大子类,如图2所示。本文主要针对前两个问题。研究行为预测的方法又可分为Probability based approaches and Learning-based approaches,本节将按照以上两种方法进行细化讨论,并给出发展趋势如图4所示,其中横坐标为方法反应车车交互的能力,纵坐标为方法还原场景复杂度或真实度的能力,表格给出各方法在预测时域这一定量指标下的大概趋势。标中所列文献均保证了一定条件下相差不多的精确度,区分标准除了预测时域也可以用预测距离。
图3:各类方法的演变趋势与特征变化

2.1 Probability based approaches

## 2.1.1 Physics-based approaches
早期(2000-2010)针对上述三大问题的解决方案主要是基于运动学与动力学原理对ego-vehicle或者other vehicles进行建模,对于其运动状态带来的不确定性常被假设为正态分布[1-4],由此引入“高斯噪声”的概念。
有关假设不确定性为正态分布的应用最成熟的便是kalman filter[66][67],基于kalman filter的方法应用时的模式大致为在t时刻通过对外部事物的运动学以及动力学模型进行向前迭代,得到t+1时刻初步预测状态,而后在t+1时刻由车辆自带的传感器如GPS等获取位置等状态信息,两种状态信息进行融合后得到最终预测状态。由此过程得到外部车辆的预测轨迹,进而根据预测轨迹之间碰撞的可能性来进行风险预估是进行风险预估的一种常用方法[1]。
同样拥有此模型迭代-状态信息采集-状态信息融合更新过程的方式还有基于蒙特卡洛方法的粒子滤波[5-7],与基于kalman fliter的方法不同的是,此方法不仅可以根据t时刻的状态来预测未来状态,还可以根据t时刻之前的某一距离窗或时间窗内的状态来预测未来,如Christoph Hermes等人在[7]中利用t时刻30m的距离窗内的状态进行轨迹预测,预测时域可达到3s。
然而其距离窗长的特点也意味着要花费更多的时间进行状态采集,这直接限制了这一方式的实车应用,针对这一问题,Stefan Hoermann在[5]中通过使用雷达其他车辆的加速度,借此判断其driving style,并且在此基础上直接利用粒子滤波进行向前传播,不仅解决了距离窗的问题,还获得了2~5s的预测时域。
以上的所有方法虽然具有解释性强、算法相对轻便的优点,但是其最高的预测时域低的缺点使得其不能够单独出现在轨迹规划或风险评估模块中,现如今通常是将其与其他预测时域更长的算法结合进行使用,如BP-Network、LSTM-Network等等将在下文记叙。
## 2.1.2 Maneuver based approaches
图4:HMM(上)与DBN(下)结构区别[9][17]
这类方法中主要包括基于Hidden Markov Model(HMM)的方法,以及基于Dynamic Bayesian Network(DBN)的方法,上述两种方法在使用形式与内在本质上有着极大的相似性。关于HMM模型本身的详细介绍可参考文献[8],本节重点介绍其在DMAP上的应用。
相比于Physics-based approaches,基于HMM的方法特点在于不需要动力学或者运动学建模,预测时域更长并且更加稳定。HMM与Markov Model相比,除了一条显性状态序列以外,还有一条隐形状态序列,在其应用到DMAP上后,显性状态序列一般指的是可通过车辆传感器观测到的外部车辆的状态,例如速度、加速度等等,隐形状态序列一般指的是HMM输出的被检测物体的驾驶意图。
例如Thomas Streubel 等人在[9]利用外部车辆的速度、加速度以及前轮转角预测其打算拐弯还是直行,预测时域可达到7s,而显性状态与隐形状态之间的表现概率(emitting probability),以及隐形状态与隐形状态之间的传递概率(transition probability)的获取主要通过learning-based的方法,因此 HMM的预测准确性与所使用的数据集有很大依赖性[9]。
Xiaoxia Xiong等人在[10]中利用HMM与SVM结合构建碰撞预警系统,他将检测到的外部车辆的运动状态当作显性状态,将车辆安全性当作隐形状态,配合SVM给出的换道决策,根据周围场景进行风险预估,但是他在构建HMM时仅将外部车辆的状态纳入了决策,除了车辆以外,诸如行人或宠物等也应该纳入监测范围。
同样是针对HMM的构建问题,为了提高车辆之间的“交互性”,除了[10]中考虑的问题以外,Wei Liu等人在[31]中将外部车辆的“reaction”纳入建模,该reaction指的是外部车辆的四种状态:stopping、hesitating、normal and aggressive,具体通过外部车辆的速度的变化情况来判断,HMM构建完成后通过DESPOT算法进行求解,达到了在线运行的目的。
随着所考虑事物的多样化,模型便会愈加复杂,求解便愈发困难,HMM问题本身的复杂性就已经很高,在其问题求解上无法得到解析解,只能通过数值方法进行最优解逼近,而这种方法就很容易导致局部最优问题,为此Shai Shalev-Shwartz等人在[11]中利用无参数的强化学习的方法进行求解并且达到了比较好的效果,其泛化能力还有待提高。
单独一层HMM只是进行做外部车辆的行为预测,例如上文提到的外部车辆的转弯直行,或者是一段加速度序列[12],以上HMM输出结果便可以作为输入控制下层控制器进行轨迹规划或者轨迹追踪[13]。Ning Ye 等人在[14]中首先利用外部车辆的一段历史轨迹信息更新HMM的参数,然后利用Viterbi算法结合这段历史轨迹信息以及HMM模型,解码得到HMM的两组隐状态,其中一组隐状态便是所预测的轨迹。
为了提高HMM预测的准确性,Fang Li等人[15]对HMM模型进行了一点修改,提出了Auto-regression (AR) based HMM,目的是将所预测车辆过去的驾驶信息纳入考虑,其Observable states之间也出现关系,其余不变,其结构如图5所示,随后通过普通换道场景与紧急换道场景的仿真证明了AR-based HMM的预测准确性要高于一般的HMM。
在对HMM的结构进行变化的方向上,[15]从考虑历史信息的出发点进行修改,除此之外,同样是为了提高预测准确性,以及更好的增加各辆车之间的interaction能力,还可以从将各辆车之间可能出现的互动,即某辆车对其他辆车的反应纳入考虑,而拥有上述这一属性的方法则是基于DBN的方法,DBN通过允许状态空间以被分解的形式表达而推广了HMM,从表现形式上来看,可以理解为用DBN模型进行预测时,状态空间中可出现多辆车[16],也可以将本车驾驶员的状态纳入考虑[17],其结构形式与HMM的异同点如图5所示。
但是本质上其实不论是AR-based HMM或者是DBN都与HMM是类似的,在使用形式上乃至注意事项上也是类似的,DBN由于能够更好的表达环境事物之间的interaction,其准确性一般也要高一点,但是这也提高了求解难度
图5 HMM与DBN以及改良版HMM在结构上的变化
在基于概率的方法中,基于HMM、DBN的方法对于intention prediction更加稳定准确,但是其模型的复杂度高,在线求解更困难,并且应用在DMAP中时也需要与下层控制器或者路径规划模块结合,Physics based approaches虽然可以直接预测出轨迹,但是出于对安全性的要求,该方法通常作为下层路径规划模块与其他intention prediction算法结合使用,例如下文会提到的LSTM以及BP网络等等。

2.2 Learning based approaches

Learning-based的方法与前文所提到的HMM-based的方法相比,该方法同样需要根据外部车辆的状态数据,或者其他环境物体的状态数据进行参数确定,一般只用来判断驾驶意图,要想进行轨迹预测则需要配合其他算法,但是该方法可以通过调节网络结构深度以及网络类型来适应不同的环境,获得更长的预测时域以及更高的准确度。关于使用Learning-based的方法进行轨迹规划,其形式上基本上大同小异,区别主要在选取的网络结构的特点,具体情况见下文。
## 2.2.1 LSTM based approaches
Long Short-term Memory Network(LSTM)属于Recurrent Neural Network(RNN)的其中一种,在解决包含时间序列特性的问题上有很好的效果,比如语音分析等等,近年来LSTM应用到DAMP上之后也有很好的效果。相比于一般的RNN来说,LSTM解决了gratitude loss的问题并且还增加了网络的深度,在结构上核心的区别在于cell的不同,关于其具体的结构特点可以阅读文献[18]。
Alex Zyner等人在[19]利用LSTM进行intersection处的车辆意图识别,其使用的数据集为Naturalistic Intersection Driving Dataset[20],该数据集包含着外部车辆的速度、位置和heading等状态信息,诸如此类的更常用数据集为Next Generation Simulation (NGSIM)[21],这些信息通过extended Kalman filter进行滤波后进入一个三层的LSTM网络,最后通过softmax classifier输出预测的行为结果。
利用LSTM进行行为预测的方法大部分都是上面的模式,Long Xin等人在[22]中利用两个单层的LSTM进行意图识别与轨迹规划,第一层LSTM进行车辆意图识别,其大致模式与[19]中相同,第一层LSTM输出的预测结果如换道等等直接输入到第二层LSTM,随后输出的结果便是大致的预测轨迹,该大致的轨迹还会通过一个fully-connected曾进行优化输出最终的确定结果。
与[22]的轨迹预测模式类似的还有[23],但是在[23]中,Wenchao Ding等人将第二层LSTM替换为基于最优化的轨迹预测模块,在轨迹预测过程中不仅考虑了速度跟道路形状约束,还考虑了交通规则以及动态障碍物的约束,这样虽然可读性更好,但是仿真结果证明,算法的大部分时间都消耗在以上的约束确定上。
## 2.2.2 Other network based approaches
本节所指的网络主要是那些基于Deep neural network(DNN)做适当结构调整的网络。
例如:Chen Chen等人在[24]中利用一层input layer、一层output layer以及一层hidden layer构建Back Propagation(BP) Network,该BP Network会输出ego-vehicle的行为,并且通过V2I技术获取的附近车辆的状态、驾驶意图信息,并将数据作为协方差矩阵输入给下层的kalman filter模块进行轨迹预测,并且通过对预测的轨迹进行分析来获取风险估计。
但是该方法的结果并不是很好,主要表现为在交叉路口实施此算法要求路口的车辆速度必须低,我认为导致这一问题的主要原因还是其建立的DNN不够多样化,其hidden layer所能表现的特征太少,但是其利用V2I技术获取信息并且融合和以信息进行轨迹规划以及风险估计的方法属于这类方法的一个发展趋势,因为这样可以很便捷地提高ego-vehicle与other-vehicles的interactive能力,为了提高这类方法的鲁棒性,之后的研究中还应将V2I传播的packet-loss问题以及communication delay纳入考虑。
同样是为了提高算法“interactive”能力,Wenchao Ding等人在[25]中也使用了fully-connected层做最后输出,但是该层之前,首先使用RNN对两辆互为“neighborhood“的车运行轨迹进行encoding,此处“neighbourhood”可以简单理解为离得最近的两辆车,随后RNN输出结果至neighborhood interaction unit,其输出的两辆车之间的interaction情况将会与RNN输出的轨迹encoding结果一起被输送至fully-connected层,随后得到的结果便是外部车辆的行为预测。
该方法并没有采取直接通过neural network分析外部车辆的轨迹得到所预测的行为,而是考虑了车辆之间的互相影响,并且在fully-connected layer之前单独分析车辆之间的interaction情况,其方式结果与之前所用的考虑车辆之前的互相影响关系的方法,比如Social LSTM[26]、Convolutional social pooling LSTM(a modification of SLSTM)[27]相比,在预测准确性上有所提高,并且属于一种全新的方法。这种类似于“解耦”的方法既提高了算法的可解释性,又提高了算法的效果,也是一个很好的研究方向

2.3 V2X based approaches

这一阶段的智能车通过V2X技术获取外部信息,配合Probability-based或者Learning-based的方法进行控制决策,但是一般只考虑了V2V或者V2I其中一种技术,前者的亮点主要是通过V2X技术改变信息获取的渠道,使得前文的方法可以应用在更多地方,并且改进这些方法。
在前文中提到的方法使用大致过程是先识别驾驶意图,再根据意图规划路径,例如[23]中通过LSTM预测车辆驾驶意图,然后通过基于最优化的规划路径,而在V2X技术引进之后,完全可以通过V2X获取外部车辆的驾驶意图,并进一步进行路径规划[28][29]。例如:Chen Chen 等人[24]通过V2I获取外部车辆的速度、加速度、驾驶意图等信息,结合Back Propagation Network对ego-vehicle进行驾驶意图预测,随后利用Kalman Filter进行轨迹预测并且根据轨迹进行碰撞风险估计。
Laleh Makarem等人在[28]中同样是针对十字路口时的路径规划,通过V2V获取通信范围内所有车辆的位置、速度等信息然后将其作为约束条件纳入模型,随后通过linear quadratic optimal方法进行求解,既保证了求解效率,使得算法可以在线运行,又保证了运行的安全性,各辆车碰撞概率最低。
以上对V2X技术的应用,即车辆状态或驾驶意图的获取,还并没有到完全可以取代传统方法的地步,在对安全性要求更高的场景,如车辆跟随场景等,这时的驾驶意图若通过传统的方法如LSTM或HMM获取,其车辆只能低速运行并且车间安全距离还要大才能保证安全,这时V2X技术的应用便有着不可比拟的优势。
Jean-Nicola Russo等人在[17]针对车辆跟随时的rear-end collision问题提出了结合V2V技术的基于Bayesian Network(BN)的碰撞概率分析方法,该方法通过V2V获取前车的状态信息以及刹车意图,配合rain sensor、eye tracking sensor等环境、驾驶员传感器的数据一同输入BN进行碰撞概率预估,而在没有通过V2V获取刹车意图这一步时,通常所预测的概率偏高[32]。
前文所提到的驾驶意图识别的方法如LSTM、HMM等,虽然也可以比较好的识别出刹车意图,但是其预测结果可能不准,最关键的是,其算法运行时间较长,对于跟车工况时的安全性问题来说无法使用。而利用V2V获取前车的刹车意图这一步直接并且简洁的解决了这一问题。

3.待解决的问题

日后需要考虑的问题除了一直都存在的算法的效率与建模的完备性以外,还有对驾驶安全的考虑,具体如下:
(1) 本文提到的Maneuver based approaches与Learning based approaches均需要从驾驶数据集中学习转移概率值或参数,因此如何使得算法对于不同的场景可以保持较高的泛化能力尤为重要
(2) 多智能体之间的特性需要被反映在算法中,例如:合流路口相遇的车辆在决定谁先进道时,两辆车可能会同时刹车又同时加速,即表现出互相影响的交互特性。
(3) 若用V2X技术,丢包问题与传输延迟问题对预测结果影响巨大,若联合V2X通信与传统的预测方法,则如何数据融合才能获得最高的结果置信度。
(4) 亘古存在的效率问题,目前直接从算法本身做效率优化需要较大创新力,更常见的是针对某一问题用不同复杂度的预测、规划方法结合解决

写在最后

自动驾驶行为预测与路径规划涵盖了大量专业知识(但是同类别的方法相似性很强,也就是说学明白HMM那么离DBN也就不远了),例如隐马尔可夫、长短期记忆网络等等,网上的学习资源很多但是水平参差不齐。
建议大家在了解这方面内容时,可以通过CSDN等博客上的介绍对这些方法有个感性认知,但是要想深入了解诸如HMM等方法的底层细节,**不要将学习面只停留在博客博主的感性讲解上,多看看老师讲的底层数学细节**。

版权声明:本文为知乎「Ismiracle」的原创文章,已获作者发表许可。

阅读原文,关注作者知乎,获取文中提到的文献!

推荐阅读

丰田自动驾驶系统TAD的技术细节

谈谈整车OTA系统的理解

五千字说清汽车基础软件及国产现状

带不带功能安全(IS26262)的区别,功能安全要做啥?

谈谈simulink自动代码生成

浅谈电机控制器及其功能

谈谈Bootloader自更新

电子电气架构设计需要考虑哪些方面?

汽车E/E架构的网络安全分析

电子电气架构设计需要考虑哪些方面?

深度解读汽车域控制器

自动驾驶域控制器信息梳理

深度分析整车控制域现状与发展

分享不易,恳请点个【👍】和【在看】

汽车ECU开发 专注于汽车电子ECU软件开发,技术分享。
评论 (0)
  • 引言随着物联网和智能设备的快速发展,语音交互技术逐渐成为提升用户体验的核心功能之一。在此背景下,WT588E02B-8S语音芯片,凭借其创新的远程更新(OTA)功能、灵活定制能力及高集成度设计,成为智能设备语音方案的优选。本文将从技术特性、远程更新机制及典型应用场景三方面,解析该芯片的技术优势与实际应用价值。一、WT588E02B-8S语音芯片的核心技术特性高性能硬件架构WT588E02B-8S采用16位DSP内核,内部振荡频率达32MHz,支持16位PWM/DAC输出,可直接驱动8Ω/0.5W
    广州唯创电子 2025-04-01 08:38 107浏览
  • 据先科电子官方信息,其产品包装标签将于2024年5月1日进行全面升级。作为电子元器件行业资讯平台,大鱼芯城为您梳理本次变更的核心内容及影响:一、标签变更核心要点标签整合与环保优化变更前:卷盘、内盒及外箱需分别粘贴2张标签(含独立环保标识)。变更后:环保标识(RoHS/HAF/PbF)整合至单张标签,减少重复贴标流程。标签尺寸调整卷盘/内盒标签:尺寸由5030mm升级至**8040mm**,信息展示更清晰。外箱标签:尺寸统一为8040mm(原7040mm),提升一致性。关键信息新增新增LOT批次编
    大鱼芯城 2025-04-01 15:02 100浏览
  • 在环保与经济挑战交织的当下,企业如何在提升绩效的同时,也为地球尽一份力?普渡大学理工学院教授 查德·劳克斯(Chad Laux),和来自 Maryville 大学、俄亥俄州立大学及 Trine 大学的三位学者,联合撰写了《精益可持续性:迈向循环经济之路(Lean Sustainability: Creating a Sustainable Future through Lean Thinking)》一书,为这一问题提供了深刻的答案。这本书也荣获了 国际精益六西格玛研究所(IL
    优思学院 2025-03-31 11:15 74浏览
  • 升职这件事,说到底不是单纯靠“干得多”或者“喊得响”。你可能也看过不少人,能力一般,甚至没你努力,却升得飞快;而你,日复一日地拼命干活,升职这两个字却始终离你有点远。这种“不公平”的感觉,其实在很多职场人心里都曾经出现过。但你有没有想过,问题可能就藏在一些你“没当回事”的小细节里?今天,我们就来聊聊你升职总是比别人慢,可能是因为这三个被你忽略的小细节。第一:你做得多,但说得少你可能是那种“默默付出型”的员工。项目来了接着干,困难来了顶上去,别人不愿意做的事情你都做了。但问题是,这些事情你做了,却
    优思学院 2025-03-31 14:58 76浏览
  •        在“软件定义汽车”的时代浪潮下,车载软件的重要性日益凸显,软件在整车成本中的比重逐步攀升,已成为汽车智能化、网联化、电动化发展的核心驱动力。车载软件的质量直接关系到车辆的安全性、可靠性以及用户体验,因此,构建一套科学、严谨、高效的车载软件研发流程,确保软件质量的稳定性和可控性,已成为行业共识和迫切需求。       作为汽车电子系统领域的杰出企业,经纬恒润深刻理解车载软件研发的复杂性和挑战性,致力于为O
    经纬恒润 2025-03-31 16:48 54浏览
  • REACH和RoHS欧盟两项重要的环保法规有什么区别?适用范围有哪些?如何办理?REACH和RoHS是欧盟两项重要的环保法规,主要区别如下:一、核心定义与目标RoHS全称为《关于限制在电子电器设备中使用某些有害成分的指令》,旨在限制电子电器产品中的铅(Pb)、汞(Hg)、镉(Cd)、六价铬(Cr6+)、多溴联苯(PBBs)和多溴二苯醚(PBDEs)共6种物质,通过限制特定材料使用保障健康和环境安全REACH全称为《化学品的注册、评估、授权和限制》,覆盖欧盟市场所有化学品(食品和药品除外),通过登
    张工13144450251 2025-03-31 21:18 66浏览
  • 提到“质量”这两个字,我们不会忘记那些奠定基础的大师们:休哈特、戴明、朱兰、克劳士比、费根堡姆、石川馨、田口玄一……正是他们的思想和实践,构筑了现代质量管理的核心体系,也深远影响了无数企业和管理者。今天,就让我们一同致敬这些质量管理的先驱!(最近流行『吉卜力风格』AI插图,我们也来玩玩用『吉卜力风格』重绘质量大师画象)1. 休哈特:统计质量控制的奠基者沃尔特·A·休哈特,美国工程师、统计学家,被誉为“统计质量控制之父”。1924年,他提出世界上第一张控制图,并于1931年出版《产品制造质量的经济
    优思学院 2025-04-01 14:02 75浏览
  • 北京贞光科技有限公司作为紫光同芯产品的官方代理商,为客户提供车规安全芯片的硬件、软件SDK销售及专业技术服务,并且可以安排技术人员现场支持客户的选型和定制需求。在全球汽车电子市场竞争日益激烈的背景下,中国芯片厂商正通过与国际领先企业的深度合作,加速融入全球技术生态体系。近日,紫光同芯与德国HighTec达成的战略合作标志着国产高端车规芯片在国际化道路上迈出了关键一步,为中国汽车电子产业的发展注入了新的活力。全栈技术融合:打造国际化开发平台紫光同芯与HighTec共同宣布,HighTec汽车级编译
    贞光科技 2025-03-31 14:44 86浏览
  • 引言在语音芯片设计中,输出电路的设计直接影响音频质量与系统稳定性。WT588系列语音芯片(如WT588F02B、WT588F02A/04A/08A等),因其高集成度与灵活性被广泛应用于智能设备。然而,不同型号在硬件设计上存在关键差异,尤其是DAC加功放输出电路的配置要求。本文将从硬件架构、电路设计要点及选型建议三方面,解析WT588F02B与F02A/04A/08A的核心区别,帮助开发者高效完成产品设计。一、核心硬件差异对比WT588F02B与F02A/04A/08A系列芯片均支持PWM直推喇叭
    广州唯创电子 2025-04-01 08:53 108浏览
  • 在不久前发布的《技术实战 | OK3588-C开发板上部署DeepSeek-R1大模型的完整指南》一文中,小编为大家介绍了DeepSeek-R1在飞凌嵌入式OK3588-C开发板上的移植部署、效果展示以及性能评测,本篇文章不仅将继续为大家带来关于DeepSeek-R1的干货知识,还会深入探讨多种平台的移植方式,并介绍更为丰富的交互方式,帮助大家更好地应用大语言模型。1、移植过程1.1 使用RKLLM-Toolkit部署至NPURKLLM-Toolkit是瑞芯微为大语言模型(LLM)专门开发的转换
    飞凌嵌入式 2025-03-31 11:22 179浏览
  • 一、温度计不准的原因温度计不准可能由多种原因导致,如温度计本身的质量问题、使用环境的变化、长时间未进行校准等。为了确保温度计的准确性,需要定期进行校准。二、校准前准备工作在进行温度计校准之前,需要做好以下准备工作:1. 选择合适的校准方法和设备,根据温度计的型号和使用需求来确定。2. 确保校准环境稳定,避免外部因素对校准结果产生影响。3. 熟悉温度计的使用说明书和校准流程,以便正确操作。三、温度计校准方法温度计校准方法一般分为以下几步:1. 将温度计放置在
    锦正茂科技 2025-03-31 10:27 54浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦