自动驾驶为什么需要轨迹预测？

--关注、星标、回复“智驾圈子”--

↓↓查看：「智驾最前沿」智驾圈子资料目录↓↓

原文链接：https://zhuanlan.zhihu.com/p/365881810

何为轨迹预测

欢迎关注「智驾最前沿」微信视频号

两个挑战

1. 短期预测一般根据运动学模型(CV/CA/CTRV/CTRA)基于当前的目标state信息预测未来一段时间的轨迹，一般<1s是合适的，如果时间过长，那目标仅与运动学相关的假设就不成立了。短期预测可以建一个运动模型专门去预测，同样的也可以使用前面感知模块滤波中的预测模块，只不过不调用测量进行滤波更新，这样的好处是可以传播不确定度。
2. 长期预测是当前业界主要在做的。这种预测仅基于运动模型就不合适了，一般需要做意图预测，并结合一些上下文信息(地图、目标间交互信息)才能得到不错的结果。此时业界有很多不同的输出形式，比如输出轨迹的概率分布、输出多条预测轨迹、输出一条可能性最大的预测轨迹。

1. 输出一条可能的轨迹或者输出所有可能的轨迹都是不合理的。你输出一条预测轨迹就可能漏掉真正的轨迹，你输出所有可能的轨迹就会出现误报的情况，这对于ADAS系统均是不可接受的。应该考虑把预测轨迹限制在合适的子集中。
2. 对轨迹预测做的越多就需要做更多的假设。极端一点的假设就是假定道路上的所有的目标都遵守交通规则。这如果用于交通模拟功能是合理的，但是对adas系统并不合适，他需要对潜在的危险情况保持敏感。

1. 感知模块输出的目标state估计的不确定。
2. 驾驶意图预测的不确定性。
3. 从意图识别完与车辆机动性改变中间的不确定性。

主要考量

1. 轨迹预测要对潜在的危险有敏感性，这是轨迹预测存在的意义要求的。
2. 既要考虑运行模型也要考虑意图与周围环境的信息。
3. 考虑上述的不确定性。
4. 考虑输出的轨迹数量问题。

业界方法

• 如果按照使用模型的不同来分类，轨迹预测方法可以分为使用物理模型的方法、使用学习的方法、使用规划算法的方法。
• 如果按照使用的信息来分类，轨迹预测方法可以分为使用目标的信息的方法、使用环境中的动态目标信息的方法、使用静态环境信息的方法。

• 意图预测：模糊理论、static BNs、DBN(HMM、JumpMM)、DS证据理论、机器学习中的分类算法。
• 深度学习相关，端到端输出。CNN、LSTM、RNN、Attention。

• 目标信息：当前/历史的速度与位置信息，如果是行人轨迹预测的话，还可使用行人头的朝向、关节信息、性别与年龄信息以及人的注意力信息。
• 环境中的动态目标信息：social force、吸引力、群体约束信息。
• 静态环境信息：free space、map、语义信息(道路结构/交通规则/当前交通信号灯)。

1. 首先做了场景拆分，分为了普通巡航道路以及路口两个场景。
2. 而后对感知得到的目标做重要性划分，分为可以忽略的目标(不会影响到自车)、需要谨慎处理的目标(可能影响到自车)以及普通目标(介于二者之间)。
3. 而后进入Evaluator，本质上就是一个意图预测。

数据集

评估指标

三个问题

1.基于物理模型的方法

• 基于物理模型的方法通过选择适当的转移方程，可以很容易地跨环境应用，而不需要训练数据，尽管一些用于参数估计的数据是有用的。在论文中，简单的CV模型也可产生合理的结果。
• 基于物理模型的方法很容易和target agent cues结合进行扩展。

• 这种显示建模的方法可能无法很好地捕捉现实世界的复杂性。
• 转移方程在空间与时间上缺乏全局信息，导致可能获得是局部最优解。

2.基于学习的方法

• 基于学习的方法可以潜在地处理所有类型的上下文信息，这些信息编码在收集的数据集中。他们中一些是map-based，另外一些可以用来对上下文信息进一步扩展。

• 需要在特定地点收集足够的数据，才能进行训练。
• 上下文信息扩展可能会导致involved learning、数据效率和泛化问题。
• 倾向于在非安全的关键组件中使用，在ADAS中比较在意可解释性，这是基于学习方法无法做到的。

3.基于规划的方法

• 如果满足以上两个条件，其比物理方法可以获得更好的精度，比基于学习的方法有更好的泛化能力。

• 传统的规划算法：Dijkstra、Fast Marching Method、optimal sampling-based motion planners会随着目标的数量、环境的大小、预测范围的增加而指数增长。
• 与基于物理的简单模型相比，基于上下文线索的规划方法(如逆向规划的奖励函数和正向规划的模型)的参数是琐碎的，通常更容易学习，但在推理方面，对于高维(目标)智能体状态，效率较低。

• 基于物理模型与学习的方法可以在短时间(1-2s)有较高的精度。非常适用于人群的局部运动规划与碰撞避免。最简单的CV模型就对机器人的局部规划有很好的效果。如果考虑行人之间的交互以及因为机器人的存在对行人运动产生的影响，有好多种先进算法。
• 对于需要预测15-20s的去全局路径规划，有很大挑战。需求可以适当放松，而理解动静态上下文输入(长期来看影响运行、在环境地图上的推理、目标的意图推断)则变得十分重要。对于局部和全局路径规划，位置无关方法最适合在各种环境下预测运动。
• 当前机器人预测4.8s的ADE为0.19-0.4m的。简单的速度模型也可以达到0.53m的ADE。9s预测有1.4-2m的ADE。

• 大多数工作考虑的都是横穿马路的行人：开始走 继续走 停止走。
• 自行车：一个骑自行车的人在接近一个十字路口时，后面有多达五个不同的道路方向。

未来方向‍

1. 使用强化的上下文信息：可以使用更深层次的语义信息，这种语义信息应对静态环境有更好的理解。并且当前使用语义特征进行轨迹预测仍有待于开发
2. 关于有social-aware的场景：①当前大多数方法假设所有被观察到的人的行为都是相似的，他们的运动可以由相同的模型和相同的特征来预测，而对高层次社会属性的捕捉和推理还处于发展的早期阶段。②大多数可行的方法基于的假设是人们之间的合作行为，而真实的人可能更倾向于优化个人目标，而不是联合策略，因此结合传统AI+博弈论的方法很有研究前途。
3. 对于长期预测，上下文信息变得特别重要，因为要基于情境和周围环境考虑意图。当前许多基于学习的方法将个体视为粒子，用来学习转移信息，以决定未来运动的方向。而通过更多的通过意图驱动的预测来扩展这些模型，类似于人类目标导向的行为，将有利于长期预测。
4. 大多数基于规划的方法依赖于一组给定的目标，这使得它们在没有事先知道目的地或可能目的地数量过高的情况下无法使用或不精确。这使得基于语义信息对目的终点进行自动推断变得重要。或者可以动态识别环境里面的可能目的地，并基于此进行轨迹预测。这样就可以在未知的环境里面使用基于规划的方法了。
5. 现在的方法都是集中于解决某一类特定的任务，比如当环境中存在明显的运动模式时，或者当环境的空间结构和目标agent的目的地预先已知时。而轨迹预测方法需要能适应未定义的/不断变化的环境，并且可以处理突发情况。这就需要迁移学习以及一些应对新环境的方法，这种情况下，学习和推理基本的不变的规则，或者通用的行人行为或者碰撞避免是不合适的。领域自适应是可以用于学习泛化模型。
6. 另外需要注意的方向：鲁棒性与可集成性。

参考文献

• Schreier M. Bayesian environment representation, prediction, and criticality assessment for driver assistance systems[J]. at-Automatisierungstechnik, 2017, 65(2): 151-152.
• Rudenko A, Palmieri L, Herman M, et al. Human motion trajectory prediction: A survey[J]. The International Journal of Robotics Research, 2020, 39(8): 895-935.
• Bahram M, Hubmann C, Lawitzky A, et al. A combined model-and learning-based framework for interaction-aware maneuver prediction[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(6): 1538-1550.
• Weidl G, Madsen A L, Kasper D, et al. Optimizing Bayesian networks for recognition of driving maneuvers to meet the automotive requirements[C]//2014 IEEE International Symposium on Intelligent Control (ISIC). IEEE, 2014: 1626-1631.
• Zeng W, Liang M, Liao R, et al. LaneRCNN: Distributed Representations for Graph-Centric Motion Forecasting[J]. arXiv preprint arXiv:2101.06653, 2021.
• Gao J, Sun C, Zhao H, et al. Vectornet: Encoding hd maps and agent dynamics from vectorized representation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11525-11533.
• Gilles T, Sabatini S, Tsishkou D, et al. HOME: Heatmap Output for future Motion Estimation[J]. arXiv preprint arXiv:2105.10968, 2021.
• Zhao H, Gao J, Lan T, et al. Tnt: Target-driven trajectory prediction[J]. arXiv preprint arXiv:2008.08294, 2020.
• Phan-Minh T, Grigore E C, Boulton F A, et al. Covernet: Multimodal behavior prediction using trajectory sets[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 14074-14083.
• Rhinehart N, Kitani K M, Vernaza P. R2p2: A reparameterized pushforward policy for diverse, precise generative path forecasting[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 772-788.
• Fang L, Jiang Q, Shi J, et al. Tpnet: Trajectory proposal network for motion prediction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6797-6806.
• Zhu Y, Qian D, Ren D, et al. Starnet: Pedestrian trajectory prediction using deep neural network in star topology[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 8075-8080.
• Sadeghian A, Kosaraju V, Sadeghian A, et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 1349-1358.
• Alahi A, Goel K, Ramanathan V, et al. Social lstm: Human trajectory prediction in crowded spaces[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 961-971.
• Huang Y, Bi H K, Li Z, et al. Stgat: Modeling spatial-temporal interactions for human trajectory prediction[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 6272-6281.
• Pan J, Sun H, Xu K, et al. Lane-Attention: Predicting Vehicles’ Moving Trajectories by Learning Their Attention Over Lanes[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020: 7949-7956.
• Ivanovic B, Pavone M. The trajectron: Probabilistic multi-agent trajectory modeling with dynamic spatiotemporal graphs[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 2375-2384.
• Ivanovic B, Pavone M. Rethinking Trajectory Forecasting Evaluation[J]. arXiv preprint arXiv:2107.10297, 2021.

转载自知乎@Minne，文中观点仅供分享交流，不代表本公众号立场，如涉及版权等问题，请您告知，我们将及时处理。

-- END --