又一个自动驾驶最新SOTA成果来了——
清华大学AIR智能产业研究院联合毫末智行、中科院自动化所团队、港中文联合出品,提出了一种全新的自动驾驶规划算法,发表在ICLR 2025。
性能表现刚刚在nuPlan数据集上登顶,超越了仅仅2个月前港科大团队SOTA成果。
这也许就是新的自动驾驶范式对技术加速重构的最直观体现。
团队提出了一种创新的自动驾驶规划思路:基于Diffusion——扩散模型。
Diffusion扩散模型2015年由斯坦福大学首次提出,在生成式建模中具有重要地位,尤其在图像生成和文本生成等领域展现出了强大的能力。AI生图领域知名的StableDiffusion,就是把Diffusion点燃的核心代表。
基本原理是通过一个前向过程逐渐添加噪声到数据上,直到数据变成完全随机的噪声,然后再通过一个后向过程逐步去除噪声,从而生成新的数据样本。
这种生成方式使得模型能够捕捉数据的复杂分布,并且可以通过控制噪声的添加和去除过程来生成多样化的样本。
整个生成数据的过程是模型化、AI化的,符合广义“端到端”定义,还能实现一定程度的调参和控制。
这两个特征使得扩散模型适合用于自动驾驶的规划过程,既能解决以往规则主导的规划方式死板难落地的问题,又能一定程度给出端到端“黑盒”输出难以控制的解决方案。
团队提出的Diffusion Planner,在端到端规划数据集nuPlan的闭环评估中,取得了SOTA级表现,⼤幅降低了对后处理的依赖:
在几种不同的基准下(Val14、Test14等,包括nuPlan 14种挑战下数十到数千个场景),Diffusion Planner都达到当前最优性能。
另外,因为规则或传统端到端多少存在对nuPlan数据的过拟合问题,导致在新场景中的性能下降,所以团队还直接拿国内自动驾驶公司毫末智行的无人物流车数据集重新实验:
在行驶速度、可通行空间、道路标线、交互目标类型等等都大变的场景下,Diffusion Planner依然最佳,证明了有较强的鲁棒性。
更进一步,团队还比较了两项同样应用扩散模型的规划算法Diffusion-es和STR2-CPKS-800M:
同是基于扩散模型的自动驾驶规划器,Diffusion Planner依然胜出,尤其是对数据后处理的依赖大大降低。
一个整体思路是:
通过联合建模关键参与者的状态,将运动预测与闭环规划任务统一为一个未来轨迹生成任务。
这样使模型能够同时生成所有关键参与者的未来轨迹,从而实现更加自然的协同行为。
但多车交互的复杂场景会产生更加多样的驾驶行为,增加了训练的难度。所以团队选择了扩散模型为框架进行训练,并基于Diffusion Transformer重新设计了自动驾驶规划器的结构:
具体而言,首先使用编码器提取感知数据中周围车辆的历史信息、道路信息和静态障碍物等等信息,并通过交叉注意力机制与加噪后的自车和周车轨迹进行信息信息融合。
此外,模型还引入了额外的导航信息以及扩散模型特有的加噪步数信息。
为了避免模型重复自车历史行为导致闭环性能下降,仅考虑自车当前时刻的位置和朝向,并与周车的当前状态一起拼接到加噪轨迹中,用于后续自注意力机制的信息融合。通过这种方式,起始状态的引导还能进一步降低模型对未来轨迹生成的难度。
此外,基于扩散模型的引导机制,可以在模型的测试阶段引入安全,舒适等偏好,同时也可以根据用户需求灵活的改变模型输出的轨迹特性,例如速度特性。
不同的偏好可以通过加权求和轻松组合,并且在部署阶段可以灵活选择是否启用,提供更大的灵活性:
总结一下Diffusion Planner的价值创新之处在于:
设计了基于 Diffusion Transformer 的自动驾驶规划模型架构,统一了轨迹预测与规划任务,高效处理复杂场景输入。并联合建模周车运动预测与自车规划中的多模态驾驶行为,充分发挥扩散模型在闭环规划中的潜力,解决了现有基于学习的规划方法对后处理的严重依赖问题。
此外,借助扩散模型的引导机制,模型在部署阶段能够灵活适应不同的驾驶需求,提高泛化能力与实用性。
三位共同一作郑一楠、梁睿鸣、郑可馨,分别来自清华大学人工智能产业研究院(AIR)、中科院自动化所、香港中文大学。
郑一楠目前博士在读。
三位指导老师分别是清华AIR的刘菁菁教授、詹仙园副教授、清华车辆学院李升波教授。
刘菁菁教授是清华大学博士生导师,美国麻省理工学院 (MIT) 计算机科学博士,目前研究方向包括多模态大模型 (Multimodal LLM)、AI for Science、强化学习等。曾任微软资深首席研究部门主管,MIT计算机科学与人工智能实验室 (MIT CSAIL) 研究科学家,专注语音对话系统研究。
詹仙园副教授曾任京东科技数据科学家,微软亚洲研究院副研究员。主要学术研究方向为基于离线深度强化学习的数据驱动复杂系统控制优化,智能交通系统以及复杂网络。层主导了京东基于强化学习的火力发电优化研发项目。
李升波,清华大学车辆与运载学院教授、博士生导师。主要研究领域包括自动驾驶汽车、强化学习、最优控制与估计等。他在自动驾驶汽车领域取得了显著成就,提出了周期波动型节能操控、网联车群分布式控制、类脑学习集成式决策等核心理论方法,突破了高级别智能汽车自主学习与数据闭环所面临的一系列关键技术难题。
论文链接:https://arxiv.org/pdf/2501.15564
项目主页:https://zhengyinan-air.github.io/Diffusion-Planner/
— 联系作者 —
— 完 —
智能车2024年度评选结果
在经过广泛征集、专业推荐,以及智能车参考垂直社群的万人票选后,智能车2023年度评选结果正式发布。涵盖三类奖项:
· 十大智能车年度人物
· 十大智能车车型
· 十大智能车技术方案/产品
在汽车工业迎来百年未有之大变局时,我们希望能以此提供智能维度的参考和注脚。
其中,十大智能车技术方案/产品是:
<< 左右滑动查看更多>>
— 完 —
【智能车参考】原创内容,未经账号授权,禁止随意转载。
点这里👇关注我,记得标星,么么哒~