毫末CEO顾维灏用「DARPA九问」回答城市NOH的实践经验

原创 焉知新能源汽车 2023-05-12 22:21

1975 年,时任 DARPA(美国国防部高级研究计划局)局长的乔治·海尔迈耶提出了著名的「海尔迈耶问答法」,这一思考方法由九个基础问题组成,此后帮助 DARPA 成功在隐形飞机、太空激光、太空红外技术和人工智能等项目上取得重要成就。

这一方法被称为「DARPA 九问」,DARPA 的项目都是围绕这一方法来评估和管控技术风险。

DARPA 九问,代表了 DARPA 那些「雄心勃勃」提案的标准,既要有足够的创新性,有改变世界的目标,又要切合实际,有真正实现的可能。

在 4 月上海车展期间的闭门活动中,毫末智行 CEO 顾维灏采用「DARPA九问」的方法,系统地阐述了毫末所走的自动驾驶 AI 之路。

顾维灏在演讲中强调,毫末很早就确定数据驱动的路径,也是国内最早引入 Transformer 大模型、最早确立重感知路线的自动驾驶公司,同时毫末还发布了 DriveGPT 自动驾驶生成式大模型。

01

数据驱动

在演讲中,顾维灏首先提出了第一个问题,毫末想做什么产品?产品目标是什么?

顾维灏的回答是,毫末真正要做的是完全无人的自动驾驶,但是判断这件事情短期内实现不了。毫末选择的路线就是,先潜心研究 L2+ 的辅助驾驶。

随着用户的大规模使用和技术的迭代研发,依靠数据驱动的方式实现自动驾驶能力的快速上升

毫末的高速 NOH 和城市 NOH 都是达到 L4 自动驾驶目标的过程。这个过程会非常有意义。

顾维灏提到现在正在发生的一些现象:

「现在等红绿灯的时候路上按喇叭的越来越多,因为很多人都会看手机,看短视频。

过去是开车时不能看手机,逐渐变成开车时偶尔可以看手机,最后变为看手机时偶尔开车。这是一个逐渐放权的过程,也是一个技术逐渐进步的过程。」

顾维灏强调:「安全是所有自动驾驶和辅助驾驶最主要的目标,我们要帮助用户,比如说在车里开视频会议无法立马结束,在这个间隙如何能够保障车辆的安全行驶」。

对于城市 NOH 产品,为了能够在复杂的城市道路场景当中保证安全底线,毫末在红绿灯控车、路口通行以及移动行驶这三个很重要的场景来设置产品目标。

首先,在红绿灯识别控车方面,毫末识别准确率必须要达到 99.99% 以上

这并不是一项简单的任务,因为在我国不同城市的红绿灯都有各自的形状和特点,有三排灯,有五排灯,有横着的,有竖着的,还有创新的,而且黑天和白天的红绿灯识别难度也不相同。

其次,在路口通行方面也非常具有挑战,路口场景有直行,有左转、右转,还有Y字形、三岔口、六岔口等。毫末直行通过率要做到 99%,复杂路口也要达 70-80%,在产品设计的时候就按此来定义目标。

最后,是移动行驶。

毫末的城市 NOH 要解决在什么样的车流状况下运行最好,这里就涉及产品定义,包括使用的通过率是多少,以及如何保障用户的安全。

02

Transformer+重感知路线+Drive GPT

这里就要回答第二个问题:已有的相关产品是什么?产品局限是什么?

毫末的回答是:采用重感知技术来做城市 NOH,要解决基于高精地图路线的区域限制和成本限制的问题

顾维灏对于毫末在自动驾驶 AI 上的创新研究,进行了一番回顾。

毫末早在三年前,也就是在 2020 年下半年开始启动 NOH 项目,启动之前「蔚小理」都已经开始研发,当时行业基本都采用英伟达 Orin 芯片 + 高精地图技术路线。

但高精地图由于成本因素、政策限制、鲜度保持等方面存在诸多难点和问题。

在这种情况下,毫末要么选择追随行业模式,要么另辟蹊径寻求新路径,毫末给出的答案是:重感知技术路线

技术产品研发与市场落地应用有着一定的时间差,事实证明这一技术路线目前已成为行业共识。

顾维灏解释「中国高速公路一共有 30 万公里,城市道路 1000 万公里,市面上最牛的地图公司采集车也不过才 200 台,1000 万公里用 200 台采集车采集,而且要采集很多要素,在中国的基建条件下可行性不高,依赖高精地图方案的话会在城市行驶边境拓展、地图的一致性、驾驶的安全和稳定性上都会产生影响和问题」。

对于第三个问题:毫末采用的方法有哪些创新之处?顾维灏做了如下回答:毫末进行了三场技术创新的攻坚战。

第一个创新是:毫末将感知方法从 CNN 模型转型到 Transformer 大模型。

随着自动驾驶感知能力的不断提升,摄像头的数量在不断增加,传统的卷积神经网络 CNN 模型在处理大规模图片信息的时候会遇到效率低下的弊端。

在 2020 年底的时候 Transformer 大模型已经在自然语言处理上开始应用了,毫末在 2021 年初就把 Transformer 识别图像的方法开始跟行业讲述了,现如今许多企业也开始使用 Transformer 技术。

第二个创新就是:毫末不再用高精地图。

在 2021 年的时候,毫末开始研究不使用高精地图的辅助驾驶方案,在最早期高精地图是有用的,十几年前摄像头像素只有一百万,计算力只有 2.5T,但现在算力都 300 多 T,外界环境发生了变化,就会促进技术方案随之变化。

基于更多的前视、后视的测试方法、Transformer 大模型以及 BEV 感知模式,这些技术的加持可以让毫末 NOH 看得更远、看得更广,无论是左转、右转都可以精准识别。

第三点创新就是:自动驾驶生成式大模型 DriveGPT。

顾维灏提到:

「得益于去年毫末就与火山引擎合作搞了一个自动驾驶智算中心,规模可以说是自动驾驶领域的第一。

毫末很早就意识到云端计算大模型一定是发展趋势,云端计算如果用公有云就太贵了,如果建立私有云操作中心一定会更划算。

有了自己的智算中心加持,DriveGPT 以大数据为基础,加上 GPT 这种新技术范式,再加上使用过程中有了用户的反馈和对能力的判定,加起来使得自动驾驶能够可行。」

另外,顾维灏还提到,毫末有自己的算力、模型和大规模量产应用场景,就像 Open AI 可以基于微软提供的算力、数据和应用环境一样同时具备这三要素。

但是中国同时拥有这三个要素,并想做这件事情的公司少之又少,所以毫末才可能把做的所有方法都发布出来。

毫末的成功会带来哪些改变?

当 GPT 出现之前,会分很多子研究方向和子研究任务,比如说机器翻译就是非常封闭的方向,像文章摘要、文章的理解或者分词等,每一项自然语言都是一个一个独立的小任务,直到 ChatGPT 出现,这些小任务都不存在了,只用一种方法就把自然语言所有问题都解决了,而且还可以不断推理,抽取常识,类比到自动驾驶也是一样。

顾维灏直言行业内已经搞了 20 年,基于规则也好,基于小模型也好,包括预测、规划、决策、控制,每一项都分成一个个小任务,20 年也没搞成。

因此,毫末将 DriveGPT 这样的方式引进来,先搞定认知的问题,把感知的四个大模型任务合为一个,那自动驾驶从此就两项任务,一个是感知任务,一个是认知任务。

所以 DriveGPT 或是说 GPT 这种新的科技范式会让自动驾驶产生质的变化并且和以往完全不同。

值得一提的是,毫末推出的自动标注,在行业上,给出正确的标注结果,一张图片需要 5 元;如果使用 DriveGPT 雪湖·海若的场景识别服务,一张图片的价格将下降到 0.5 元。单帧图片整体标注成本仅相当于行业的 1/10。

接下来,毫末会将图像帧及 4D Clips 场景识别服务逐步向行业开放使用,这将大幅降低行业使用数据的成本,提高数据质量,从而加速自动驾驶技术的快速发展。

演讲最后,顾维灏也介绍了时间、成本以及如何验证成功等问题。

做自动驾驶周期一定是漫长的,面对终极目标——完全无人的自动驾驶 Robotaxi,维灏也给出了他们的计划「当毫末城市 NOH 被数万个或者数十万个用户用起来的时候,并且平均 MPI 达到一定水平,我们就可以启动这个赛道产品了。」

添加微信,找到我们




更多阅读



我们研究了特斯拉、毫末「自动驾驶算法」的秘密

Momenta CEO曹旭东:自动驾驶没有百亿美金公司,要么千亿美金、要么被收购或淘汰

2022,车载高规激光雷达量产元年

焉知新能源汽车 新能源科技、智车科技
评论
  • 应用环境与极具挑战性的测试需求在服务器制造领域里,系统整合测试(System Integration Test;SIT)是确保产品质量和性能的关键步骤。随着服务器系统的复杂性不断提升,包括:多种硬件组件、操作系统、虚拟化平台以及各种应用程序和服务的整合,服务器制造商面临着更有挑战性的测试需求。这些挑战主要体现在以下五个方面:1. 硬件和软件的高度整合:现代服务器通常包括多个处理器、内存模块、储存设备和网络接口。这些硬件组件必须与操作系统及应用软件无缝整合。SIT测试可以帮助制造商确保这些不同组件
    百佳泰测试实验室 2024-12-12 17:45 115浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-11 17:58 117浏览
  • 本文介绍瑞芯微RK3588主板/开发板Android12系统下,APK签名文件生成方法。触觉智能EVB3588开发板演示,搭载了瑞芯微RK3588芯片,该开发板是核心板加底板设计,音视频接口、通信接口等各类接口一应俱全,可帮助企业提高产品开发效率,缩短上市时间,降低成本和设计风险。工具准备下载Keytool-ImportKeyPair工具在源码:build/target/product/security/系统初始签名文件目录中,将以下三个文件拷贝出来:platform.pem;platform.
    Industio_触觉智能 2024-12-12 10:27 115浏览
  • 铁氧体芯片是一种基于铁氧体磁性材料制成的芯片,在通信、传感器、储能等领域有着广泛的应用。铁氧体磁性材料能够通过外加磁场调控其导电性质和反射性质,因此在信号处理和传感器技术方面有着独特的优势。以下是对半导体划片机在铁氧体划切领域应用的详细阐述: 一、半导体划片机的工作原理与特点半导体划片机是一种使用刀片或通过激光等方式高精度切割被加工物的装置,是半导体后道封测中晶圆切割和WLP切割环节的关键设备。它结合了水气电、空气静压高速主轴、精密机械传动、传感器及自动化控制等先进技术,具有高精度、高
    博捷芯划片机 2024-12-12 09:16 121浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 143浏览
  • 在智能化技术快速发展当下,图像数据的采集与处理逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步,对于图像数据的采集、处理和分析的需求日益增长,这不仅要求我们拥有高性能的相机硬件,还要求我们能够高效地集成和测试各种算法。我们探索了一种多源相机数据采集与算法集成测试方案,能够满足不同应用场景下对图像采集和算法测试的多样化需求,确保数据的准确性和算法的有效性。一、相机组成相机一般由镜头(Lens),图像传感器(Image
    康谋 2024-12-12 09:45 118浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-12 10:13 80浏览
  • 全球智能电视时代来临这年头若是消费者想随意地从各个通路中选购电视时,不难发现目前市场上的产品都已是具有智能联网功能的智能电视了,可以宣告智能电视的普及时代已到临!Google从2021年开始大力推广Google TV(即原Android TV的升级版),其他各大品牌商也都跟进推出搭载Google TV操作系统的机种,除了Google TV外,LG、Samsung、Panasonic等大厂牌也开发出自家的智能电视平台,可以看出各家业者都一致地看好这块大饼。智能电视的Wi-Fi连线怎么消失了?智能电
    百佳泰测试实验室 2024-12-12 17:33 121浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 124浏览
  • 首先在gitee上打个广告:ad5d2f3b647444a88b6f7f9555fd681f.mp4 · 丙丁先生/香河英茂工作室中国 - Gitee.com丙丁先生 (mr-bingding) - Gitee.com2024年对我来说是充满挑战和机遇的一年。在这一年里,我不仅进行了多个开发板的测评,还尝试了多种不同的项目和技术。今天,我想分享一下这一年的故事,希望能给大家带来一些启发和乐趣。 年初的时候,我开始对各种开发板进行测评。从STM32WBA55CG到瑞萨、平头哥和平海的开发板,我都
    丙丁先生 2024-12-11 20:14 104浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 144浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦