作者 | Junchuan Zhang，复睿微电子自动驾驶仿真算法专家
自动驾驶仿真是计算机虚拟仿真技术在汽车领域的应用，将真实世界进行数字化还原和泛化，高仿可靠的仿真平台可以加速自动驾驶商业化落地。在现实生活的自动驾驶汽车上，激光雷达、摄像头等硬件的设计、测试是一个复杂的过程，一旦硬件发生升级和更新会带来大量的人力和物力成本。自动驾驶模型的学习和测试需要大量的道路数据输入，兰德智库有过一个评估，自动驾驶系统想要达到量产应用条件，至少需要经过110亿英里(约170-180亿公里)的道路验证。现在很多城市开设了自动驾驶测试区，但场景单一，道路环境无法获得全覆盖的道路状况，有些特殊的碰撞测试场景无法获得。
自动驾驶仿真可以解决一部分成本和场景的多样性需求，对于全球各大车企和自动驾驶公司来说，虚拟仿真平台都是主要测试手段，自动驾驶测试中有90%的场景通过仿真平台来完成。将真实路段的信息通过场景建模或数字孪生的方式在虚拟环境里实现，在此基础上生成各式各样的交通流，产生大量的混合式仿真数据以及自动生成的标注真值，提供给自动驾驶模型进行训练和测试，提高模型的泛化性。此外，自动驾驶仿真很容易在数据、标注、训练、测试中形成闭环，从而加速自动驾驶算法的更新和迭代。特斯拉作为自动驾驶的标杆，在自动驾驶仿真方面也是领头羊，在去年的Tesla AI day上，特斯拉就展现了其高度真实的自动驾驶仿真平台，驾驶场景非常完备，道路、车辆、行人、路灯、周边的路延、草地、树木、不规则建筑、光源等等，第一眼看上去几乎就是摄像头下的真实场景。在今年的AI Day上，特斯拉再一次展示了他们在自动驾驶仿真平台上的进展，介绍了他们Simulation World Creator的工作流程和大体框架。今年发布会中特斯拉介绍的仿真工作内容，主要属于WorldSim的范畴，意即仿真测试使用的数据全部是虚拟出来的。有关LogSim的仿真测试内容，即单纯使用真实数据建模、回放给自动驾驶算法，在去年的Tesla AI Day发布会中有所涉及。当然，值得注意的是，在今年发布会特斯拉介绍的方法中，WorldSim和LogSim的界限进一步模糊，在其World Creator中也使用了部分真实数据作为输入，这一点在接下来的文章中会进一步介绍。图1 Tesla AI Day发布会上展示的自动驾驶仿真效果根据发布会内容笔者总结了特斯拉Simulation World Creator工作流程。- 首先特斯拉强大的Auto Labeling工具链会给出一份数据收集所在地的详尽的道路信息，包括道路边界、隔离带边界、车道线、道路连接信息等，特斯拉会在Houdini中利用这些类似高精地图的信息制作路网模型、依据道路边界等生成路面网格，并对路面和路面上的车道线进行渲染。Houdini是一款广泛应用于影视和游戏行业的模型、特效制作软件。笔者推测，特斯拉针对仿真场景建模基于Houdini开发了自动化pipeline，以像他们在发布会中强调的那样，高效地生成仿真场景。
- 路网模型生成以后，World Creator会从特斯拉丰富的三维模型素材库中选择植被、建筑物和其他静态物体来填充道路隔离带、完善路边街景、以及增加更丰富的视觉细节——如落叶对路缘的随机遮挡。如特斯拉在去年的AI Day发布会中所说，他们已经制作了数千种不同的三维模型，这些模型根据一定的规则可以组合成不同风格的、随机的、同时又是合理的街景，以丰富视觉渲染信息，达到获取大量传感器数据集的目的。自动化街景的生成可以节省很多技术美术人力。
- 静态场景完成后，World Creator还会参考地图信息对路网添加交通灯、交通标志等，并从Auto Labeling的结果中获取道路行驶方向、连接及相邻关系等道路连接信息，作为下一步生成随机交通流的依据。AI算法控制的交通参与者会根据以上道路连接信息，在制作的仿真场景中形成随机交通流，让被测车辆身处较为真实的交通环境中。
仿真对于自动驾驶开发的重要意义在于其可以提供大量真实场景无法提供的数据，那么如何产生大量丰富的场景呢？特斯拉在发布会中提到了两点内容：第一是前文提到的，路边街景的随机生成，如图3所示，在一个相同结构的路口周围产生了六种不同的街景环境。第二是根据算法测试需求，道路连接信息也可以被修改，图4中展示的是通过改变一个路口的道路连接关系（连带改变了地面行驶标志），改变了交通流的走向，创造出了更多不一样的仿真场景。接下来特斯拉介绍了World Creator的一些工程化内容（图5）：包括通过tile creator应用前文所述的流程制作三维场景，然后用tile extractor分片区地将这些geometry和instances数字资产储存起来，需要时按图索骥调取相应位置的多个片区场景加载入tile loader，最终输送给Unreal Engine引擎运行仿真。结合特斯拉发布会介绍的仿真工作内容，笔者计划参考游戏引擎架构简要分析自动驾驶仿真产品（WorldSim）的主要架构层级。图6为现代游戏引擎架构层级图[1]。- 工具层指的是各种能够人工或者自动化生产仿真场景所需数字资产的工具和能力，如图7所示：包括仿真产品本身的编辑器，也包括能够导入第三方工具生产的内容的能力。这其中可能包含静态地图、道路模型、建筑物模型、行人模型，甚至动态场景等。好的仿真产品工具层能够应该能够方便多种技术角色人员共同对仿真场景进行开发，如特斯拉在发布会中提到的，其World Creator产品可以让美术人员快速新建仿真场景。
- 功能层体现了仿真产品为了达成仿真测试目标提供的主要功能：如物理解算功能、渲染功能、动画功能、动态场景、驾驶行为模拟功能、真值输出功能、与被测对象间的接口功能等。如去年AI Day发布会中特斯拉着重强调的他们结合了实时光线追踪与神经网络渲染的图形渲染功能。
- 资源层代表了完成仿真测试需要的一切数据文件，以及在运行仿真时加载这些文件的能力：精细的车辆模型可以提供更好的视觉效果，但会导致仿真产品加载场景更缓慢吗？图9展示了一系列静态建筑物模型。
- 核心层代表一系列仿真产品的基础设施，包括数学计算库、文件解析工具、线程管理工具，决定了仿真产品的很多基础表现，例如仿真产品能否充分利用并行计算资源模拟复杂物理过程？
- 平台层决定了仿真产品能否适配不同计算机平台：linux、windows、云平台，以及特定的实时计算平台等。
另外，第三方库可以提供仿真产品某些层级中的部分解决方案，例如物理解算器可以选择Bullet、ODE、DART等物理引擎。自动驾驶仿真平台的最大优势在于它能给出准确的真值，传感器的安装位置和配置可以随意调整，自动标注工具可以随着这些变化来自动调整生成和算法模型匹配的Raw数据以及Label。自动驾驶算法正在经历从2D检测/分割网络到3D检测/分割网络的更迭期，目前落地的算法以2D检测/分割居多，Yolo、Unet等网络在2D目标识别中广泛应用，网络训练用到的2D检测框、车道线分割、可行驶区域分割真值在仿真平台中很方便获取。图10 2D检测框、车道线分割及可行驶区域分割仿真真值近年来，随着Transformer模型的出现，基于多传感器、BEV空间的3D检测/分割网络层出不穷，对应的3D检测框、矢量车道线、占用网格这些标注真值对于人工标注来说难度较高，但对于仿真平台来说，通过编码就能自动准确地获得网络训练测试需要的标签。图11 3D检测框、BEV视角车道线及Occupancy网格仿真真值随着自动驾驶感知算法的快速发展，海量的感知数据和配套的真值标签正变得越来越重要，自动驾驶仿真工具体系在更先进的计算硬件和更新的建模技术的帮助下，一定能给行业带来更多收益，加速算法开发和产品测试，节约更多人力时间和金钱成本。1. Games 104: 现代游戏引擎:从入门到实践：https://games104.boomingtech.com/Junchuan Zhang，复睿微电子自动驾驶仿真算法专家，毕业于卡耐基梅隆大学，长期专注于机器人与自动驾驶领域仿真研发工作，积累了丰富的仿真平台开发与集成项目经验。
复睿微电子是世界500强企业复星集团出资设立的先进技术型企业。公司目标成为世界领先的智能出行时代的大算力方案提供商，致力于为汽车电子、人工智能、通用计算等领域提供以高性能芯片为基础的解决方案。目前主要从事汽车智能座舱、ADS/ADAS芯片研发，以领先的芯片设计能力和人工智能算法，通过底层技术赋能。
复睿微是复星智能出⾏⽣态的通⽤⼤算⼒和⼈⼯智能⼤算⼒的基础平台。复睿微电子以提升客户体验为使命，在后摩尔定律时代持续通过先进封装、先进制程和解决⽅案提升算⼒，与合作伙伴共同⾯对汽⻋智能化的新时代。
