算法端，蔚来目前采用分段式端到端，感知规划全栈网络模型为 NOP+提供了强大的通用泛化能力；同时能够进行想象重建与想象推演的世界模型有望在2024Q4 进行车端部署。数据闭环方面，蔚来的群体智能配合生成式仿真能够满足世界模型训练的数据需求，还能够辅助快速验证推动迭代。云端算力方面，截至 2023 年 9 月，蔚来智能计算集群总算力规模为 1.4EFlops，预计目前算力规模更高，而截至 2024 年 7 月蔚来基于群体智能的整体端云算力已超过 306.9EOPS。蔚来在硬件架构与软件架构上进行长期主义布局，统一架构延长车辆的生命力，支持车辆的长生命周期迭代。蔚来 NOP+用户数量持续扩大，使用里程也在快速增长，反映出蔚来用户对其自动驾驶的认可程度不断提高。
NOP+全量推送，2024H2 上车点到点领航辅助 2.0开路不开城，蔚来以道路为单位推进自动驾驶落地。2020 年 10 月，蔚来全量交付高速 NOP，面向搭载 Mobileye EyeQ4 芯片的 NT 1.0 平台车型。相对部分自研的 NOP，基于 NT2.0 平台的 NOP+是蔚来全栈自研，并于 2022 年底开启推送，但此时只有高速功能。在城市领航辅助功能上，与其他车企扩展覆盖度的“开城”方式不同，蔚来专注于对特定路段进行深度优化和精确覆盖，确保其智能驾驶系统在多变的道路条件下也能提供稳定可靠的服务，按照用户心愿单以及道路开放全国的 NOP+。2023年 6 月，蔚来车队在城区开启路线验证，10 月在城区开启应用“群体智能系统”。在2024 年 4 月，蔚来 NOP+在城市区域的领航辅助向所有 NT2.0 车型用户开放，累计覆盖 726 城，标准是以 90%主干道为最低标准释放。2024 年下半年，蔚来计划推送点到点的全域领航 2.0，实现点到点的体验，并计划再用一年的时间，解决智驾全国好用的问题，将城区体验提高到目前高速领航的水平。
NOP+用户数量持续扩大，蔚来自动驾驶的用户认可程度正不断提高。2024 年 3 月的城区道路可用总里程为72.6万公里，当月城区智能驾驶的行驶里程仅有42万公里，而这两个数据在 2024 年 7 月分别上涨到了 353.9 万公里与 336 万公里，一方面是NOP+可用范围的扩大，另一方面是用户对 NOP+的接受度不断提高，开始让 NOP+在城市中行驶更多里程。蔚来自动驾驶的用户认可度也在不断增长，截至 2024 年 7月，NOP+的订阅用户数量达到了 30.80 万人，4 个月中增长超 50%，随订阅用户数的增长，NOP+的商业闭环正逐步打通。
由模块化自动驾驶到端到端，蔚来将其划分为三个阶段。（1）第一阶段是模型化，模型化的优点在于实现数据驱动，但是对工程化的能力要求较高，要求能够快速训练与快速验证。蔚来在 2023 年中将规控模块中加入AI 神经网络实现模型化，而当前阶段大部分玩家仅做到感知模型化，在规控端还没有做到模型化。（2）第二阶段是端到端，将感知与规控模型连接，不用定义数据结构，解决数据丢失的问题。端到端下对于数据验证体系的要求将更高。蔚来首先将端到端技术应用在主动安全功能，如 Banyan 2.6.5 版本中上车的端到端 AEB，以及 2024 下半年将要上车的端到端 GOA。（3）第三阶段是大模型，在蔚来的定义中，大模型为世界模型，蔚来期望世界模型能够对真实世界进行更全、更好的信息表达和预测。蔚来在 2023 年底开始训练世界模型，预计 2024Q4 会开始推进量产工作。2.2、 当前蔚来感知规划全栈网络模型为 NOP+提供了强大的通用泛化能力当前蔚来在自动驾驶算法中的感知和规控环节都采用了神经网络赋能。（1）在感知端，采用融合化的感知网络，占用网络 2.0 通过一个网络识别动静态物体，并采用可变分辨率的架构解决远近物体识别的问题，同时在云端训练一个大模型进行无监督的训练，辅助车端模型进行感知。（2）在规控端，引入了数据驱动的分层价值网络，通过分层搜索的形式，找到最优解。具体而言，通过多模态的注意力网络从感知数据中筛选出 10-100 种未来的可能性，之后将这些可能性进行更进一步的推演，通过交互搜索的树，做 7 秒钟的推演，通过经人类偏好数据训练的博弈价值网络来进行推演，在具体的行为规划和控制过程，采用奖励函数网络给出一个最舒适、拟人化的结果。最后将结果送入凸优化的空间进行兜底，保证输出的结果安全。感知端和规控端一起串联形成的蔚来感知规划全栈网络模型构成了通用泛化的基石。
蔚来规划部分基于三层的数据驱动的网络
2.3、 世界模型能够进行想象重建与想象推演，将推动通用能力快速提升端到端架构能够充分利用数据，加速迭代，但距离人仍有差距。端到端有两个优点：（1）从人工写规则变成了模型，依靠模型和数据去做迭代就能充分地利用数据；（2）能自动地抽取信息，减少了很多信息损失，使得对于数据的利用更加充分。但仅依赖单一端到端的模型的话，时间维度信息的融合和推演都是定长的逻辑，自动建模长时序信息的能力相对匮乏，不能够预测未来事件并评估其影响，也就是无法真正理解时空变化，这样的端到端永远无法达到人驾一般舒适、安全与效率。
世界模型能够进行空间理解与时间理解，想象重建、推演能力强大。NIO IN 2024 蔚来创新科技日上，蔚来正式发布中国首个智能驾驶世界模型 NWM（NIO WorldModel），即可以全量理解信息、生成新的场景、预测未来可能发生的多元自回归生成模型。相比于常规的端到端的模型，新的世界模型有三个主要的优势：（1）空间理解上，通过生成式模型重构传感器输入方式，更加泛化地抽取信息，能够全量理解信息，对空间理解更加深入。（2）时间理解上，通过自回归模型，自动建模长时序环境，能够预测接下来的场景。（3）通过生成式无监督的方式，无需人工标注，对海量数据的利用更加高效。
世界模型能够进行空间理解与时间理解
想象重建能力：从原理上讲，世界模型能够输入一个真实世界的行车视频，输出另外一个更平行的世界，相当于对整体世界做再一次的重构，变成类似于真实驾驶环境的原始信息，减少信息的损失，算法的空间理解能力加强，而这一定程度上意味着它具备了解决这些场景中驾驶问题的能力。从算法端讲，它是自监督的过程，不太需要数据标注，可以高效地做到千万 Clips 的数据量的训练；同时因为重建的视频，任务更困难，监督信息更多，使得模型收敛速度更快。
重建的视频模型收敛速度更快
想象推演能力：从原理端讲，世界模型能够持续地去想象推演，持续地以自回归的方式去输出视频，“想象”时间维度上的变化，在功能方面，具体来说，NWM 可以在 0.1 秒内，推演 216 种可能发生的轨迹、寻找最优路径，下一个 0.1 秒，NWM 会根据外界信息输入去再生成新的 216 种可能性，继续往前开；还能基于 3 秒钟视频的 Prompt 输入，生成 120 秒想象的视频。蔚来计划将世界模型进行车端部署，将其结果作为预测参考输入下游规划模型，在未来有望直接输出轨迹去控制车辆。2.4、 群体智能助力数据闭环搭建，生成式仿真进行快速闭环测试通过群体智能与生成式仿真能够满足世界模型训练的数据需求。世界模型作为多元自回归生成模型，具有庞大的数据需求，特别是对长尾数据和闭环数据的需求更多，训练一个世界模型，需要千万级 Clips 以上的真实数据训练。蔚来基于群体智能和生成式仿真为核心来满足更大的数据需求。通过群体智能系统，挖掘日行千万公里的真实场景可成为正负样本的训练数据，筛选重点场景后验生成式仿真，进行三维重建，最终产生更多新场景，加速模型的快速训练迭代。
群体智能和生成式仿真可以满足整体的世界模型的数据需求
群体智能：在数据收集方面，蔚来通过量产车队收集数据，目前 NT2.0 平台的车型总数在 20 多万台，同时在车端的四颗 Orin-X 中，有一颗专门留给群体智能训练，能够筛选掉 99%无用数据并经过复杂自动化流程处理后回传云端，使车辆不光在智驾状态下，在非智驾状态下也能获取到有效数据。群体智能每月能够获取 500 万+接管数据，共分析 4785 万接管案例，捕捉的高价值 Clips 超过 1000 万。在道路验证方面，蔚来群体智能架构，能够在量产车上分布式验证用户行驶过的道路以及使用过的智能驾驶功能，每月实车验证里程超 2000 万公里，单一路线 5 次验证自动准出，加速实现智能驾驶系统升级迭代，保证智能驾驶用户体验持续进化。
生成式仿真：与 NWM 配套，蔚来开发了仿真器 NSim（NIO Simulation），在整个数据链路上，车端的群体智能+NSim 理论上可以给 NWM 提供源源不断的数据。NWM基于真实世界视频进行重构和推演，进入到 NSim 重新编辑，分解出背景中静态的、动态的信息，在 NSim 中也可以看到并且调整深度、法向量的信息。通过 NSim 可以切换到任意角度，分析环境细节信息，可以根据所需去动态地编辑物体，也可以让自车有新的行车轨迹驾驶。NSim 可以对 NWM 推演的每一种轨迹与对应的仿真结果做对比，给到更多数据给到 NWM 训练，让输出的智驾轨迹和体验更安全更合理，更高效。
在训练方面，蔚来认为，如果想要做端到端大模型，至少需要万卡级别的算力集群，截至 2023 年 9 月，蔚来智能计算集群总算力规模为 1.4EFlops，预计目前算力规模更高。蔚来还建立一套高性能计算平台，可支撑日间峰值吞吐达到 200 万次的任务请求，并且同时支持 1.5 万个节点的并发，自研容量 10PB 的高速分布式缓存系统，支持大规模并行的训练。此外，蔚来也已打通边缘计算能力，使得整个车云算力联合调度，截至 2024 年 7 月，蔚来整体端云算力高达 306.9EOPS，是全国最大的端云算力集群，分布式计算也是蔚来算力布局的重要构成。
3.1、 自研神玑 NX9031 即将上车，传感、计算硬件支撑智驾长期主义神玑 NX9031 已流片，深度软硬一体有望大幅提升用户体验。2020 年开始，蔚来逐步组建了超800人芯片团队，负责人华为海思出身。自研智能驾驶芯片“神玑NX9031”已经流片，制程为 5 纳米，拥有超过 500 亿颗晶体管，该芯片采用 32 核大小核 CPU架构，采用 LPDDR 5x 内存，速率达到了 8533Mbps，内置高动态范围高性能 ISP，具备 6.5G Pixel/s 像素处理能力，处理延时少于 5nm，单芯片性能相当于四颗行业旗舰芯片的能力。神玑 NX9031 将于 2025Q1 首搭 ET9，实现了硬件与软件、算力与算法的紧密融合，有能力支持蔚来智能电动汽车进一步提升用户体验。
蔚来自动驾驶面向未来，软硬件支持长生命周期迭代。汽车智能化进展飞速，产品的生命周期在缩短，产品生命力也逐渐成为影响消费者的购车选择的因素之一。在智能驾驶方面，蔚来认为其软件层面架构的生命周期应达到 10 年以上，硬件层面应能够坚持两代平台，而现在每代平台的间隔期约 3-4 年。蔚来在软件层面统一架构，做到软件部分有 85%的模块级复用度，在硬件层面采用高性能传感器与计算平台，软硬结合之下，蔚来车型生命力得以延长，支撑蔚来的“长期主义”布局。Aquila 蔚来超感系统配置丰富，ADAM 计算平台算力出众，能够支撑自动驾驶的后续更新。（1）Aquila 蔚来超感系统：拥有 33 个高性能感知硬件，包括 1 个等效 300线的 1550nm 激光雷达、7 颗 800 万像素高清摄像头、4 颗 300 万像素高感光环视专用摄像头、1 个增强主驾感知、5 个毫米波雷达、12 个超声波传感器、2 个高精度定位单元和 V2X 车路协同。（2）ADAM 计算平台：ADAM 集成了 4 颗英伟达 Orin X智能驾驶芯片，总算力达 1016TOPS，是目前汽车智能驾驶算力的天花板；同时 ADAM还集成 1 颗最新的高通骁龙 8295 智能座舱芯片，能够实现智驾、智舱和整车控制最大 256TOPS 算力共享，且智驾和座舱之间跨域数据带宽从千兆大幅提升到 16Gbps，能够支撑多模大模型的端侧部署。NT2.0 平台车型都已搭配四课 Orin-X 的 ADAM 平台，在未来的 NT3.0 平台，会有神玑 NX9031 与英伟达 Orin-X 两种芯片配置，在算法快速演进的智能驾驶潮流中提供牢固的硬件平台基础。
ADAM 计算平台集成 4 颗 Orin-X
支持实现智驾、智舱最大 256TOPS 算力共享
3.2、 NADArch 升级 2.0，统一架构延长生命力蔚来自动驾驶架构升级。NADArch 进化。世界模型 NWM，包括端到端的主动安全模型，以及相应的处理机制和安全机制，以上构成了蔚来算法的第二代架构 NADArch2.0，具体功能收敛到两个产品：点到点的全域领航 2.0 与智能安全辅助 2.0。蔚来坚持 NT2.0 平台车型统一架构，统一架构最直观的优点是降低了后续的维护、运营、迭代的成本，同时能够大大延长架构的寿命。统一的架构下能够提高复用程度，如乐道品牌与蔚来的软硬件同架构，底层架构相通，可以数据共享。
3.3、 重组智驾研发团队，组织架构上面向端到端大模型蔚来自动驾驶业务主要分为三大团队。目前蔚来智驾团队约有 1500 人，自动驾驶业务共有四个团队，分别为算法团队、硬件团队、操作系统和数据安全团队，其中算法团队由蔚来智能驾驶研发副总裁任少卿负责，下设感知部、规划与控制部、环境信息部、方案交付部、地图定位部等多个部门。蔚来智驾研发部完成架构调整。2024 年 6 月，蔚来智驾研发部新成立了大模型部（负责端到端模型的研发工作）、部署架构与方案部（负责和车端相关的整体算法研发、架构设计和功能交付）、时空信息部（负责车端和云端的地图信息相关的算法、模型开发及服务），撤销了原来的感知部、规划与控制部、环境信息部及方案交付部。从组织架构上面向端到端，或将加速蔚来自动驾驶迭代。调整前，蔚来智驾研发部按照感知、地图、数据、规控等模块进行分部门管理，再以项目为核心串联起各个垂直的算法部门进行交付，算法模块部门是实体组织，项目则是横向的虚线组织。架构调整后，蔚来智驾的核心业务变成了两块，一块是云，一块是车，分别由“大模型部”、“部署架构与方案部”负责，前者负责创造出一个本身更好的基础模型，去支持未来车端的迭代，后者负责车端自动驾驶的产品化与交付，工作流程上则以项目为中心组合各方，将横向组织纵向化。新架构下，将有效减少内部沟通阻力与资源损耗，集中力量实现自动驾驶的高效迭代。-- END --
声明：内容源自智驾社，文中观点仅供分享交流，不代表本公众号立场，如涉及版权等问题，请您告知，将及时处理！
