【华为和上海交通大学】OccGen：用于自动驾驶的生成多模态三维占用预测

智能汽车电子与软件 2024-05-02 17:01 1033浏览 0评论 0点赞

边缘AI开发的奥秘，一场直播就能搞懂！ 热管理技术新标杆：ST维也纳PFC与FOC控制方案深度解析

关注公众号，点击公众号主页右上角“ ··· ”，设置星标，实时关注智能汽车电子与软件最新资讯

论文链接：https://arxiv.org/pdf/2404.15014

项目主页：https://occgen-ad.github.io/

摘要

本文介绍了OccGen：用于自动驾驶的生成多模态三维占用预测。3D语义占用预测的现有解决方案通常将任务作为one-shot三维体素分割感知问题。这些判别方法着重于一步学习输入和占用地图之间的映射，缺乏逐步细化占用地图的能力和补全局部区域合理场景的想象能力。本文引入了OccGen，这是一个简单而强大的生成感知模型，用于3D语义占用预测任务。OccGen采用了“噪声到占用”的生成范式，通过预测和消除来自随机高斯分布的噪声，逐步推断和细化占用地图。OccGen由两个主要部分组成：一个能够处理多模态输入的条件编码器，以及一个使用多模态特征作为条件来应用扩散去噪的渐进细化解码器。这种生成流程的一个关键理解是，扩散去噪过程自然能够对稠密3D占用地图进行由粗到精的细化建模，从而生成更详细的预测。在若干个占用基准上进行的大量实验证明了所提出方法相比于最先进方法的有效性。例如，OccGen在nuScenes-Occupancy数据集上分别将mIoU相对提高了9.5%、6.3%和13.3%。此外，作为一种生成感知模型，OccGen展现出判别模型无法实现的理想特性，例如在多步预测的同时提供不确定性估计。

主要贡献

本文的贡献总结如下：

1）本文引入了OccGen，这是一种简单而强大的生成框架，遵循“噪声到占用”的范式；

2）OccGen采用了一种高效的设计，即编码器在整个推理过程中仅运行一次，解码器逐步运行以渐进细化，从而实现与单次前向方法相当的延迟；

3）本文在多个占用基准上大量验证了所提出的OccGen，证明其相比于先前的判别方法，具有卓越的性能和理想的特性。

论文图片和表格

总结

本文提出了OccGen，这是一种简单而强大的生成感知模型，其用于3D语义占用预测。OccGen采用“噪声到占用”的生成范式，从随机高斯分布中逐步推断和细化占用地图。OccGen由两个主要部分组成：一个将多模态输入作为条件输入来处理的条件编码器和一个以由粗到精的方式生成细粒度占用的渐进细化解码器。OccGen在nuScenes-Occupancy和SemanticKITTI上实现了最先进的3D语义占用预测性能。此外，本文所提出的OccGen已经展现出判别模型无法实现的理想特性，例如渐进推理和不确定性估计。目前，本文OccGen的延迟与先前最先进的方法相当，并且没有体现明显的速度优势。今后，将探索一种用于3D语义占用预测的更轻量化的生成架构。

来源:自动驾驶专栏

-END-

关注公众号，点击公众号主页右上角“ ··· ”，设置星标，实时关注智能汽车电子与软件最新资讯

登录阅读全文



免责声明：该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系： nick.zong@aspencore.com！

智能汽车电子与软件专注于汽车电子领域的信息交融平台，涵盖汽车电子行业资讯、市场动态、技术干货、知识见解、行业趋势等资讯深度覆盖。

进入专栏

智能汽车电子与软件专注于汽车电子领域的信息交融平台，涵盖汽车电子行业资讯、市场动态、技术干货、知识见解、行业趋势等资讯深度覆盖。

文章：3316篇粉丝：55人

关注  私信

【华为和上海交通大学】OccGen：用于自动驾驶的生成多模态三维占用预测

最近文章

热门文章

推荐

最新资讯