TeslaAIDay-特斯拉自动驾驶FSD的进展和算法软件技术之算法

原创 Vehicle 2022-10-05 10:11
2022年的特斯拉 AI Day分为三大主题:分别为AI机器人- Optimus,AI智能驾驶 FSD和AI超算芯片技术。我在上篇文章《Tesla 特斯拉AI day - 关于特斯拉机器人的进展和技术》大概介绍了其机器人开发平台的一些硬件技术和开发思路。本文我将介绍其第二部分,这一部分主要是其人工智能算法技术,也是其汽车,机器人共用的底层算法,比较硬核和重磅。
在介绍算法之前,我们先看下特斯拉自动驾驶FSD的一些进展
特斯拉表示从2021年开始交付的特斯拉从硬件层面上都应该支持自动驾驶(此处是“自动驾驶”不是我文章之前常用的词“智能驾驶”),特斯拉团队现在做的是一步一步的提升自动驾驶等级。
目前其自动驾驶软件FSD的使用客户已经从2021年的2千人到现在达16万人。仅仅去年就通过480万段数据训练了超过75000个算法模块,其中交付给车辆281个算法模块,完成了35次版本的发布。
当然特斯拉还是吹牛了一把,他们认为特斯拉能够支持点对点自动驾驶,了解什么是点对点自动驾驶可以点击《浅谈高阶智能驾驶-领航辅助的技术与发展》,他包括从停车场出发实现城市驾驶的交通灯识别停车驾驶,十字路口与其他车辆交互通行,转弯等等。
当然这些进展除了版本迭代内部过程数据化,一年之内使用FSD的客户暴增80倍,等量化很好表达了进展之外,他对消费者感知提升的进展并不是讲的很清楚,你迭代了多少版本用了多少数据,有多少消费者买单并不能说明你使用起来体验很好。其实如果特斯拉能够采用我在《2021DMV自动驾驶公司KPI排行榜》文章中介绍美国加州交通管局用来评价自动驾驶的性能的指标-每次人为介入接管之后行驶公里数KPI(Km Per Intervention)来秀其进展那么就硬核了。
以上就是特斯拉自动驾驶FSD的最新进展,总的来讲数据很震撼,但对消费者使用感知的直接提升数据表达不是特别清楚。
关于特斯拉的FSD的算法技术部分,此次特斯拉2022 AI Day把其FSD背后的技术,按照从终端客户使用感觉到的使用问题开始,然后一步一步深入背后的算法创新优化,算法背后的数据训练等串起来讲。我在这里把他总结分成了如下四个部分,两篇文章去分享:
Tesla AI Day -特斯拉自动驾驶FSD的进展和算法软件技术之算法
1. 路径以及运动规划算法:
当算法植入到终端(车或者机器人),终端通过算法感知环境,规划路径,确保安全,平顺前进。
2. 环境感知算法:
- Occupancy 算法,也就是可活动空间探测
- Lane & Objects 车道以及物体算法,交通中的信息语义层也就是车道线,物体识别以及运动信息。

Tesla AI Day -特斯拉自动驾驶FSD的进展和算法技术之数据和计算
3. 训练算法设施以及软件:
- 训练数据的设施,超算中心用来支持数据处理,算法训练。
- 人工智能算法的编译器以及推理,就是训练算法的框架以及软件方法。

4. 数据标注,采集和虚拟:
- 自动标注算法,训练环境感知算法必须需要已经具有标签的数据,自动标注算法就是标注数据,训练环境感知算法识别这类场景或者物体。
- 环境虚拟,合成制造虚拟场景。
- 数据引擎,现实场景车辆,测试软件获取真实场景环境数据,闭环数据引擎,更正标签等。

希望能给大家带来一些信息,当然看特斯拉的算法有点烧脑,所以错误难免,还请多多指正;另外为了能帮助大家理解,可能很多细节简化,后面希望有时间能够详细分解深入再分享给大家。
1. 路径以及运动规划算法
什么是路径规划?我之前文章《自动驾驶路径运动轨迹生成方法》有详细分享,他主要是搜索要遵循的路径、避开障碍物并生成确保安全、舒适和高效的最佳轨迹,让车辆行驶。
场景越复杂,路径以及运动规划更难,所以,大家可以看到当前很多智能驾驶的使用场景基本都在高速环路等半封闭的场景。
难点在哪里?
特斯拉此次AI Day分享了自动驾驶最难的场景之一,也是最考验路径规划的场景 - 拥堵十字路口,前方道路有行人横穿和行车占道通行的情况下,路径以及运动规划如何进行安全舒适的无保护左转。
一般遇到这种场景,自动驾驶的车辆可能的行为有:
  • 坚持自己的路径,让其他车辆,行人等交通参与者让自己。
  • 在行人和汽车等交通参与者中间找到空隙行驶。
  • 礼让汽车和行人,等他们走了,再走。这是当前大部分国内智能驾驶的选择。
那么一般自动驾驶软件判断运算的步骤如下:
  1. 对当前场景下所有交通参与者进行运动轨迹预测。
  2. 基于各个轨迹的成本以及约束进行计算。
  3. 让本车以及其他交通参与者的运动轨迹进行交互,特斯拉表示这个运算过程大概耗时10ms,一般一个拥堵的十字路口左转场景,会有超过20个交互相关的交通参与者,有超过100种交互相关组合,那么目标路径规划时间大概是50ms
如何实时解决这种场景?
特斯拉表示其采用Interaction Search交互搜寻算法,寻找最优的结果,它分为以下5个步骤:
  1. 视觉环境识别 - 采用稀疏抽取的方法抽取潜在特征来识别车道,障碍物,移动物体等交通参与者。
  2. 选定目标候选人 - 确定车道线,非结构化区域来形成可通行的空间信息。
  3. 产生可能的轨迹 - 通过轨迹优化,神经元规划生成运动轨迹。
  4. 产生运动方案 - 例如到底是强行插入交通还是等待行人通行。
  5. 确定轨迹和时间,速度 - 当确定好运动方案时候,还需要考虑运动轨迹下的其他车辆通行情况,多种考虑之后才能输出运动规划。

特斯拉表示第5步,是最难的,因为随着每一步约束的增加,每一种新的轨迹生成运算都需要1-5ms,那么你想想这种情况下大约有一百多种方案,那么显然都快需要0.5s的时间用来运算了。
特斯拉想到的方案是lightweight queryable networks轻量化可查询的神经元算法,这种算法是去查找基于其人类驾驶方法场景库以及线下虚拟仿真运算出的结论,也就是查找库已有方案,看他的运动轨迹会怎么做,这样可以在大约100us,也就是0.1ms内来生成一种轨迹。
有了多种轨迹和运动规划之后,接下来还需要选择一种,这个时候特斯拉算法采取对碰撞检查,控制舒适性,需要介入的可能性,是否拟人化等多项要求,进行打分来确定,选定最终轨迹和运动规划
以上就是特斯拉利用其路径规划算法,在解决交通繁忙条件下无保护左转采用的交互搜寻算法,寻找最优的结果的流程。这里一个比较妙的方法是特斯拉有一个人类驾驶行为和仿真参考库提供检索。
2. 环境感知算法
环境感知是一切智能驾驶的源头,众所周知特斯拉环境感知主要依赖视觉,当然我之前文章《智能驾驶要用多少个激光雷达?分别放在哪里?什么作用?》等都表示视觉无深度信息容易出问题,但这次特斯拉介绍了其Occupancy Networks 算法用来探索可运动3D空间,那它是否能够解决视觉深度信息呢?按照特斯拉的理念应该是能,只等待算法的进化,此次没有细节,让我们先回到其Occupancy Networks 算法
Occupancy Network 算法能干什么?
特斯拉在过去几年中一直开发的算法,他主要是通过特斯拉外部的8个摄像头视频流,去构建基于几何体积块的环绕汽车的3D空间,并持续去识别全貌即使短时间内有遮挡物,能够识别标注Occupancy(翻译成占住的?)物体例如马路牙子,汽车,行人等,他还能识别物理的流动,来预测一些偶然的流体运动例如长巴士,拖挂车的甩尾,这样Occupancy Network 算法能够高效识别感兴趣的点。
特斯拉表示其Occupancy Network算法在算力和内存之间取得很好的效率,大概10ms就可建模完成,目前此算法已经运行在所有FSD的特斯拉上。
Occupancy Network 算法工作原理是怎样的?
特斯拉表示其Occupancy Network算法工作流大概分以下五个步骤:
1. Image Input ,8个摄像头依据摄像头标定矫正后直接输入给算法,视觉输入不使用ISP(以人为本的图像处理)同时因为摄像头的原始数据是4 位彩色它能提供16倍的动态范围给到算法,所以可以减少输入的延迟。了解摄像头基本原理点击《智能汽车要用多少个摄像头?分别干啥?什么原理?》。
2. Image Featurizers,使用预训练的深度神经网络模型对图像进行特征化,输入给下一步。特斯拉采用RegNet 以及BiFPNs算法来特征化图像,特征化基本就是识别物体了。
3. Spatial Attention,是卷积神经网络中用于空间注意的模块。它利用特征的空间间关系生成空间注意力图,也就是构建空间信息。这里特斯拉提到两个算法Mlticam Qurey Emdedding 也就是多摄像头查询,Spatial Query空间查询然后输入给注意力Attention算法,这里就是构建空间。
4. Temporal Alignment,分为两个部分,一个部分是自己车辆的轨迹对齐,另外一个将各个识别特征物对齐,初步形成了时空特征。
5. Deconvolutions,去卷积也就是把浓缩的特征反向成物体。这里其中有一个一直是普通视觉算法的噩梦,就是路面地理信息,例如上下坡度,特斯拉表示其算法能够识别路面的地理特征。
6. Volume Outputs,去卷积之后的反向物体,将从空间上能代表物体大小,被放置在时空中,而且此类空间占据还根据路面的情况自动匹配,这里特斯拉讲到一个算法NeRF state,能够表示具有复杂遮挡的详细场景几何,这样可以让时空更加真实
7. Queryable Outputs,这里很有意思,去卷积之后的反向物体有些可能不能完全代表真实的物体的大小,所以特斯拉算法采用查询法去数据库中查询真实世界的结果,进行位置和大小的矫正再进行空间放置。
Occupancy Networks 算法可以通过摄像头收割数据,然后利用NeRFs算法构建真实世界的精准映射-虚拟世界,当然特斯拉当前的虚拟构建显然做不到把摄像头色彩完全投影进来,特斯拉目前主要任务是通过车辆收集数据构建可支持自动驾驶所需关键信息的虚拟3D世界,特斯拉也想收割全球以及其各种天气下的信息,当然这当中肯定还有很多技术问题有待解决,所以特斯拉也趁机人才招募广播一把。
特斯拉表示其Occupancy Networks 算法都是自动标注算法训练而成的,特斯拉这个环境感知算法听起来确实厉害,他在Bird's-eye view算法上又进了一步
有了Occupancy Networks 算法可以让自动驾驶对可行驶空间有了认知,但是交通道路是有自己的规则的,其中最直观的就是车道线,所以接下来让我们看看特斯拉对于车道线的识别有什么新内容。
为什么要使用新的车道识别算法
特斯拉表示其老的车道识别算法是使用2D平面,分割算法例如RegNet,他在高速以及清晰高度结构化的场景应用的比较好,目前基本上国内车型应该都采用此类算法,当然国内的道路结构化都比较好,但在国外那种路面国内车型都是挑战,毕竟国外的设施都没有国内新。
当然车道清晰等也不是特斯拉老算法的主要问题,特斯拉在国外训练的算法对于清晰度应该也不是问题,问题是城市应用场景中,简单转弯分隔的结构化车道,繁忙交通中交汇口前车遮挡等无法采集到足够的数据的时候,此类问题是经典车道识别算法无法解决。
当然国内依赖高精地图的智能驾驶方案,则没有此类问题,但他需要准确的高精地图,这就是为什么现在的城市领航辅助迟迟没上,他们必须要有高精地图。高精地图,第一需要测绘了,第二需要有关部门批准释放了。
所以不使用高精地图仅仅依靠视觉算法的特斯拉给出的答案是:用神经元算法预测,生成全套车道实例及其相互连接。
如何实现?
特斯拉表示其最新的FSD 车道算法由以下三个组件组成
1. 视觉组件 - 车辆上八个摄像头的视频流输入卷积层、注意层和其他神经网络层进行编码,或许丰富的环境信息,然后生成带有粗略路线图的表示。
2. 地图组件 - 额外的神经网络层编码的道路级地图数据,特斯拉称之为车道引导,这张地图不是高清地图,但它提供了许多关于交叉口的有用提示,车道内的拓扑结构,交叉路口的车道数,以及一组其他属性。
这里的前两个组成部分产生了一个密集张量世界,可以对世界进行编码,但特斯拉真正想做的是转换这个稠密的张量为智能驾驶车道的连通集合。
3. 语言组件 - 特斯拉将这个任务看成一个图像转字幕的语言任务,这个任务的输入是这个稠密的张量,输出的特殊的文本语音用来预测车道连通。
用这种车道语言单词和符号对车道进行编码,这些单词和符号就是3D中的车道位置,在单词符号中引入修饰语,对连接词进行编码通过将任务建模为语言问题,我们可以利用语言人工智能算法的最新技术来处理道路的多重连通集合。
所以特斯拉的方法是用最先进的语言建模和机器学习算法来解决计算机视觉问题,语言算法应该在人工智能算法中属于比较先进发展较快的一个分支,主要原因应该是语言数据更易得和数据量小,便于学习训练,此次特斯拉发布的车道线识别算法的亮点就是这个。如果展开这个算法估计文章得再加几千字,所以等我有机会深入理解,再详细分享。
总结
总的来讲其算法此次有几个亮点,对于十字路口算法,构建了人类驾驶行为和虚拟驾驶行为库供算法查询从而节省计算时间,利用各项指标去框定选择最优路径。对于车道识别算法,创新性的借鉴语言算法来解决视觉问题。
以上就为,特斯拉2022年AI Day大概发布的算法方面的进展和优化,时间仓促和水平有限,错误难免还请留言交流,关注我们,下一篇文章介绍算法背后的数据,虚拟,算法编译等。
参考文章以及图片

  1. 特斯拉AI Day视频

    *未经准许严禁转载和摘录-获取参考资料方式:

加入我们的知识星球Vehicle 可以下载公众号海量参考资料包含以上参考资料。

>>>>

相关推荐


  • Tesla 特斯拉AI day - 关于特斯拉机器人的进展和技术
  • 保时捷IPO -给追梦人的汽车品牌的资本追梦
  • 2000TOPs的英伟达和高通要把智能汽车带向何方?
  • 大疆能否在智驾赛道“能上天”?
  • 安霸的智能汽车芯片软件布局和雄图
  • 芯片产业链101
  • 从大众新CEO的十个工作重点看大众汽车电气化,软件定义汽车的方向和方法
  • 芯片和操作系统 - 当前汽车供应链面临的关键问题思考
  • 五图看懂自动驾驶AI半导体生态链

Vehicle 不断奔跑才能应对变化,与汽车业内企业个人一起成长
评论
  • 本文介绍Linux系统(Ubuntu/Debian通用)挂载exfat格式U盘的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。修改对应的内核配置文件# 进入sdk目录cdrk3562_linux# 编辑内核配置文件vi./kernel-5.10/arch/arm64/configs/rockchip_linux_defconfig注:不清楚内核使用哪个defc
    Industio_触觉智能 2024-12-10 09:44 78浏览
  • 开发板在默认情况下,OpenHarmony系统开机后 30 秒会自动息屏,自动息屏会让不少用户感到麻烦,触觉智能教大家两招轻松取消自动息屏。使用触觉智能Purple Pi OH鸿蒙开发板演示,搭载了瑞芯微RK3566四核处理器,Laval鸿蒙社区推荐开发板,已适配全新OpenHarmony5.0 Release系统,SDK源码全开放!SDK源码中修改修改以下文件参数:base/powermgr/power_manager/services/native/profile/power_mode_co
    Industio_触觉智能 2024-12-09 11:39 108浏览
  •         在有电流流过的导线周围会感生出磁场,再用霍尔器件检测由电流感生的磁场,即可测出产生这个磁场的电流的量值。由此就可以构成霍尔电流、电压传感器。因为霍尔器件的输出电压与加在它上面的磁感应强度以及流过其中的工作电流的乘积成比例,是一个具有乘法器功能的器件,并且可与各种逻辑电路直接接口,还可以直接驱动各种性质的负载。因为霍尔器件的应用原理简单,信号处理方便,器件本身又具有一系列的du特优点,所以在变频器中也发挥了非常重要的作用。  &nb
    锦正茂科技 2024-12-10 12:57 52浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 51浏览
  • 肖特基具有很多的应用场景, 可以做同步整流,防止电流倒灌和电源反接等,但是随着电源电流的增大,肖特基导通正向压降0.3~0.7v的劣势也越发明显,产生了很多的热,对于工程师的散热设计是个考验,增加了工程师的设计难度和产品成本,目前一种新的理想二极管及其控制器,目前正在得到越来越广泛的应用- BMS,无人机,PLC,安防,家电,电动工具,汽车等都在快速普及理想二极管有三种架构,内置电荷泵的类似无锡明芯微MX5050T这种,驱动能力会弱点,静态功耗200uA,外置电荷泵MX74700T的这种驱动能力
    王萌 2024-12-10 08:51 79浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 52浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 59浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 64浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 79浏览
  • 在驾驶培训与考试的严谨流程中,EST580驾培驾考系统扮演着至关重要的数据角色。它不仅集成了转速监控、车速管理、转向角度测量、转向灯光控制以及手刹与安全带状态检测等多项功能,还通过高精度的OBD数据采集器实时捕捉车辆运行状态,确保学员在模拟及实际驾驶中的每一步操作都精准无误。EST580驾培驾考转速车速转向角转向灯光手刹安全带OBD数据采集器系统的重要性及其功能:1、提高评判效率:通过原车CAN协议兼容,不同车型通过刷写固件覆盖,不仅提高了考试的数字化、自动化程度,还减少了人为干预的安装需要,从
    lauguo2013 2024-12-09 16:51 99浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 71浏览
  •         霍尔传感器是根据霍尔效应制作的一种磁场传感器。霍尔效应是磁电效应的一种,这一现象是霍尔(A.H.Hall,1855—1938)于1879年在研究金属的导电机构时发现的。后来发现半导体、导电流体等也有这种效应,而半导体的霍尔效应比金属强得多,利用这现象制成的各种霍尔元件,广泛地应用于工业自动化技术、检测技术及信息处理等方面。霍尔效应是研究半导体材料性能的基本方法。通过霍尔效应实验测定的霍尔系数,能够判断半导体材料的导电类型、载流子浓度及载流子
    锦正茂科技 2024-12-10 11:07 51浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦