一文读懂自动驾驶汽车:软硬结合造就未来出行体验(上篇)

英伟达NVIDIA中国 2022-11-28 20:48

在 GTC 2022 秋季大会上,NVIDIA 汽车部门营销经理 Katie Burke Washabaugh,面向想要了解自动驾驶汽车、并有志于投身自动驾驶行业的观众,介绍了自动驾驶汽车的历史、工作原理、相关技术以及发展前景。本文对此次分享的精华内容进行了汇总和整理,以帮助大家更好地了解自动驾驶与 AI 行业!


本文将分为上下两篇,主要包括四个章节:


  • 自动驾驶汽车的发展简介,包括过去十年发生的重大事件以及技术突破。


  • 自动驾驶汽车的工作原理,包括车辆中的硬件,如传感器架构和车载计算,以及车辆中运行的软件、深度神经网络等。


  • 自动驾驶汽车的训练与仿真


  • 自动驾驶汽车未来的发展方向,包括“软件定义汽车”,智能座舱等。


底蕴深厚,路径明确


在深入了解自动驾驶汽车的历史之前,先为大家简要介绍一些专业用词。


2014 年,美国汽车工程师学会将自动驾驶技术划分为五个等级,用于描述车辆功能。L1 级和 L2 级表示车辆没有自动驾驶功能,其中 L1 级表示完全没有自动驾驶功能,驾驶员需要手动完成车辆中的每一项操作。L2 级则更多涉及主动安全功能和自动化功能,例如自动紧急制动和车道保持辅助,这些功能在如今的车辆中已为大众所熟知。L3 级则拥有更多 AI 辅助驾驶功能,可让车辆自行转向和制动,但人们仍需负责驾驶全程。即使汽车能够自己转向和制动,驾驶员也须时刻准备接管控制权。当业内谈及自动驾驶汽车时,则主要是在谈论 L4 级和 L5 级的自动驾驶汽车。L4 级车辆可以在特定环境下实现完全的自动驾驶,例如,自动驾驶出租车车队可在矿区、港口、机场、物流园区等封闭区域行驶。L5 级则代表着全自动驾驶,汽车可以随时随地进行自动驾驶,完全不需要真人驾驶员进行操作。


自动驾驶技术分级


早期自动驾驶探索:

算力和速度存在瓶颈


自动驾驶汽车的概念产生至今已有几十年,科幻作品和电视节目中都曾提及该概念,例如电视剧《霹雳游侠》(Knight Rider)中高度人工智能的跑车 KITT。当前的自动驾驶技术应用主要来源于世界上第一个自动驾驶汽车长距离比赛,“美国无人驾驶挑战赛”(DARPA Grand Challenge),特别是 2007 年的赛事,将自动驾驶汽车挑战赛扩展到了一般路面和更多城市环境之中,开启了自动驾驶产业的起源。


早期自动驾驶汽车(2007 年 DARPA 城市挑战赛)


如上图所示,参加 2007 年城市挑战赛的车辆非常笨重,车辆周身悬挂着多个极其昂贵的传感器和硬件,同时车辆后备箱里装满了电脑设备。这些车辆尚未达到自动化级别,难以在极端环境运行。对于量产型车辆而言,必须拥有 10-11 年以上的使用寿命,并且在使用期需要能够应对极端高温、严寒、大雪等情况,城市挑战赛的车辆显然无法经受密歇根坑洼道路的考验。城市挑战赛中的优胜车辆在 4 小时内完成了近 96 千米( 60 英里)路程。事实上,开车是为实现方便高效,在 4 个小时内行驶 96 千米( 60 英里),既不方便也不高效。因此,早期车辆难以投入量产。然而,这些车辆却推动了自动驾驶技术的快速发展,让自动驾驶行业能获得如今的成果。这里有几个数据希望大家留意,后续我们会比较一下:2007 年的城市挑战赛中,优胜车辆在 4 个小时内行驶了 96 千米( 60 英里),每秒可进行 230 亿次运算(23 billion FLOPS)。


AI 技术突破,自动驾驶如有神助


得益于 AI 技术的突破,所有可移动的事物都将实现自动化。从乘用车、出租车,到商用卡车运输、再到共享出行、公共交通,更加安全高效的自动驾驶技术正在改变交通运输行业的各个方面,甚至农业也可通过自动驾驶实现彻底革新。


所有可移动的事物都将实现自动化


那么自动驾驶行业提到的 AI 究竟是什么意思呢?具体来说,指的是 AI 的一个子集,即深度学习,可使汽车如同人类一般进行学习和行动。汽车中的软件则由深度神经网络(DNN)组成,可驱动特定的任务,如感知、推理、驾驶,或是驱动、高精地图以及车辆定位,又或者是汽车在空间中精确定位的能力。


为实现现实世界中的安全行驶,自动驾驶深度神经网络必须能够根据周围环境推断信息,例如,在驾驶过程中,如果看到路上有一个滚落的球,驾驶员根据以往的生活经验可推断出,球的后面很可能会跟着一个孩子,由此在通过时会减速稍等一会儿。但是,如何教会汽车以同样的方式思考和行动呢?答案则是借助海量数据以涵盖可能遇到的各种情况。DNN 在车辆中运行之前,会在数据中心大规模运行相关数据,并利用仿真对这些情境进行测试和验证。最后,当这些网络准备好“上车”时,则需要能够运行各种神经网络的集中式高性能计算平台,保障能实时覆盖每个必要的任务,以实现安全操作。


技术合力,助力自动驾驶汽车安全高效运行


那么,自动驾驶汽车的工作原理究竟是什么?


传感器架构“保驾护航”


首先,人们在驾驶时依靠感官来感知周围环境,眼观六路,耳听八方。真人驾驶员会时刻保持对提示物、标识牌以及其他车辆的警惕。自动驾驶汽车则是依靠传感器获取感知信息,以在驾驶环境中做出反应。这些传感器必须具备两个重要特性,即冗余和多样化。


使用丰富的传感器实现冗余和多样化


“冗余”指的是每个组件都有一个备份,来对传感器探测到的数据进行查验,从而确保检测对象的真实存在。如果摄像头看到阴影中存在某物,雷达则会进行双重检测,从而确保确实有物体存在,就算在摄像头误报时,汽车也能从其他传感器处及时得到真实反馈。


所谓“多样化”,是指每个组件都能处理在现实世界中运行时所需执行的各种任务。在冗余且多样化的传感器架构中,首先需要可充当视觉传感器的摄像头传感器,用于检测和分类静态或静止物体,以及动态或移动物体。上述物体包括交通标志、交通灯、车道边界,以及行人、骑行者或动物。正如前文所述,此架构中还包含了雷达,可作为备用手段,在必要时替代摄像头感知外界信息,协助测量周围物体的距离和移动速度。目前,大家可能已经很熟悉用于其他行业或技术的摄像头和雷达传感器,但激光雷达对于部分人而言,可能是一个相对较新的术语。


激光雷达当前的工作原理是将多束激光同时发射到周围环境中,并接收反射回来的激光。随后,传感器会根据激光反射回雷达所用的时间,基于任意两次激光发射的时间间隔,构建出车辆周围环境的 3D 图像。除此之外,此架构还会使用通过声波进行感知的超声波设备,以及用于粗略定位和运动补偿的 GNSS 和 IMU 传感器。


AI 计算“智力无限”


上一部分讨论了汽车的感知系统,也就是自动驾驶的“眼睛”和“耳朵”。接下来将为大家介绍汽车的“大脑”,即集中式 AI 计算平台—自动驾驶汽车的计算平台负责处理由冗余且多样化的传感器所采集的大量数据


正如之前所说,汽车采用冗余且多样化的传感器架构,来生成海量数据。直观地说,一辆用于测试的自动驾驶汽车运行 6 小时就能生成约 32TB 数据,相当于可填满至少 256 部具有 128GB 内存的智能手机。此外,这种计算还必须能够运行数十个深度神经网络,以便在处理数据的同时,为车辆感知系统提供实时支持。


集中式 AI 计算


软件定义“常用常新”


为应对自动驾驶带来的挑战,计算平台必须具有超高性能,同时满足节能和车规级要求。所谓车规级要求,是指能够承受量产型汽车将面对的极端运行条件,以及因长途行车、糟糕路况和极端天气造成的磨损。此外,该计算平台还必须具有可扩展性以及持续升级的能力。这里所说的“可扩展性”是指计算平台能够与未来的新平台兼容。计算技术在持续发展,因此软件开发公司基于当前一代计算技术开发的产品,必须能够兼容下一代产品,以便能够充分利用最前沿和最出色的计算性能。而这里所说的“持续升级”,指的是计算平台需要拥有足够的空间,允许自动驾驶汽车通过 OTA 持续更新最新功能,从而实现软件定义汽车,这意味着该计算平台可基于最新的数据、体验和功能,持续改进。


NVIDIA DRIVE Orin 是一款适用于自动驾驶汽车的先进的软件定义平台。大家还记得上文提到的几个数字吗?在 2007 年的城市挑战赛中,优胜车辆每秒可进行 230 亿次运算 (23 billion FLOPS);而现在,DRIVE Orin SoC 每秒可进行 254 万亿次运算(254 TOPS)。凭借当前的性能水平, DRIVE Orin 能够处理车辆中同时运行的大量应用和深度神经网络,且符合 ISO 26262 ASIL-D 等系统安全标准。


深度神经网络 帮助汽车做决策


介绍完汽车的“大脑”之后,我们再来看下文中多次提及的深度神经网络。深度神经网络与传感器一样,需具备两个重要特性:冗余且多样化。这意味着,每个深度神经网络都能作为其他神经网络的一个备份,此外,每个深度神经网络将专门承担某项任务,以处理自动驾驶汽车在日常驾驶中可能遇到的各种场景。


感知—自动驾驶汽车最重要的组成部分


例如,SightNet 深度神经网络负责检测交通标志,LightNet 网络则检测交通灯,而 LaneNet 网络则负责检测车道边界和可行驶路径,此外,还有用于检测交叉路口的 WaitNet 深度神经网络。前三种网络会通过协同工作,检查 WaitNet 网络所检测到的交叉路口场景,是否包含该交叉路口中的所有交通灯、交通标志和车道边界。自动驾驶汽车能够基于检查结果做出相应的反应,并安全地通过交叉路口。这些网络能够在各种天气及照明条件下运行。不仅能适应极端天气,还能应对眩光和摄像头视野盲区。经过专门训练的深度神经网络,能够应对自动驾驶汽车可能会遇到的各种驾驶状况,确保汽车安全行驶。


以上是自动驾驶汽车的各个组成部分,但它又是如何学习的呢?这就涉及到自动驾驶汽车的训练与仿真,我们将在下篇详细叙述,敬请期待。


AI 赋能交通运输新时代

AI 揭开物流和出行新篇章



点击查看往期精彩内容


一:强势登场:Lucid 集团发布首款电动 SUV Gravity 和新款轿车 Air,基于 NVIDIA DRIVE 打造而成


二:步入 AI 新纪元:全新沃尔沃 EX90 SUV 基于 NVIDIA DRIVE 打造而成


三:容量大,电力足:Polestar 3 为高端电动 SUV 设定新标准 


四:智控未来:路特斯 Eletre 搭载 NVIDIA DRIVE Orin,专为极致驾驶体验和高速 AI 计算而生


五:智能汽车“触手可及”:哪吒汽车基于 NVIDIA DRIVE Orin 打造 AI 赋能的汽车


六:Hello,World:蔚来通过智能驾乘体验拓展全球市场



即刻点击 “阅读原文” 或扫描下方海报二维码收下这份 GTC22 精选演讲合集清单,在NVIDIA on-Demand 上点播观看主题演讲精选、中国精选、元宇宙应用领域与全球各行业及领域的最新成果!


评论
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 218浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 558浏览
  • 实用性高值得收藏!! (时源芯微)时源专注于EMC整改与服务,配备完整器件 TVS全称Transient Voltage Suppre,亦称TVS管、瞬态抑制二极管等,有单向和双向之分。单向TVS 一般应用于直流供电电路,双向TVS 应用于电压交变的电路。在直流电路的应用中,TVS被并联接入电路中。在电路处于正常运行状态时,TVS会保持截止状态,从而不对电路的正常工作产生任何影响。然而,一旦电路中出现异常的过电压,并且这个电压达到TVS的击穿阈值时,TVS的状态就会
    时源芯微 2025-01-16 14:23 34浏览
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 124浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 514浏览
  • 近期,智能家居领域Matter标准的制定者,全球最具影响力的科技联盟之一,连接标准联盟(Connectivity Standards Alliance,简称CSA)“利好”频出,不仅为智能家居领域的设备制造商们提供了更为快速便捷的Matter认证流程,而且苹果、三星与谷歌等智能家居平台厂商都表示会接纳CSA的Matter认证体系,并计划将其整合至各自的“Works with”项目中。那么,在本轮“利好”背景下,智能家居的设备制造商们该如何捉住机会,“掘金”万亿市场呢?重认证快通道计划,为家居设备
    华普微HOPERF 2025-01-16 10:22 37浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 525浏览
  • 食物浪费已成为全球亟待解决的严峻挑战,并对环境和经济造成了重大影响。最新统计数据显示,全球高达三分之一的粮食在生产过程中损失或被无谓浪费,这不仅导致了资源消耗,还加剧了温室气体排放,并带来了巨大经济损失。全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,艾迈斯欧司朗基于AS7341多光谱传感器开发的创新应用来解决食物浪费这一全球性难题。其多光谱传感解决方案为农业与食品行业带来深远变革,该技术通过精确判定最佳收获时机,提升质量控制水平,并在整个供应链中有效减少浪费。 在2024
    艾迈斯欧司朗 2025-01-14 18:45 85浏览
  • 一个易用且轻量化的UI可以大大提高用户的使用效率和满意度——通过快速启动、直观操作和及时反馈,帮助用户快速上手并高效完成任务;轻量化设计则可以减少资源占用,提升启动和运行速度,增强产品竞争力。LVGL(Light and Versatile Graphics Library)是一个免费开源的图形库,专为嵌入式系统设计。它以轻量级、高效和易于使用而著称,支持多种屏幕分辨率和硬件配置,并提供了丰富的GUI组件,能够帮助开发者轻松构建出美观且功能强大的用户界面。近期,飞凌嵌入式为基于NXP i.MX9
    飞凌嵌入式 2025-01-16 13:15 29浏览
  • 数字隔离芯片是现代电气工程师在进行电路设计时所必须考虑的一种电子元件,主要用于保护低压控制电路中敏感电子设备的稳定运行与操作人员的人身安全。其不仅能隔离两个或多个高低压回路之间的电气联系,还能防止漏电流、共模噪声与浪涌等干扰信号的传播,有效增强电路间信号传输的抗干扰能力,同时提升电子系统的电磁兼容性与通信稳定性。容耦隔离芯片的典型应用原理图值得一提的是,在电子电路中引入隔离措施会带来传输延迟、功耗增加、成本增加与尺寸增加等问题,而数字隔离芯片的目标就是尽可能消除这些不利影响,同时满足安全法规的要
    华普微HOPERF 2025-01-15 09:48 110浏览
  • 晶台光耦KL817和KL3053在小家电产品(如微波炉等)辅助电源中的广泛应用。具备小功率、高性能、高度集成以及低待机功耗的特点,同时支持宽输入电压范围。▲光耦在实物应用中的产品图其一次侧集成了交流电压过零检测与信号输出功能,该功能产生的过零信号可用于精确控制继电器、可控硅等器件的过零开关动作,从而有效减小开关应力,显著提升器件的使用寿命。通过高度的集成化和先进的控制技术,该电源大幅减少了所需的外围器件数量,不仅降低了系统成本和体积,还进一步增强了整体的可靠性。▲电路示意图该电路的过零检测信号由
    晶台光耦 2025-01-16 10:12 23浏览
  • 故障现象 一辆2007款法拉利599 GTB车,搭载6.0 L V12自然吸气发动机(图1),累计行驶里程约为6万km。该车因发动机故障灯异常点亮进厂检修。 图1 发动机的布置 故障诊断接车后试车,发动机怠速轻微抖动,发动机故障灯长亮。用故障检测仪检测,发现发动机控制单元(NCM)中存储有故障代码“P0300 多缸失火”“P0309 气缸9失火”“P0307 气缸7失火”,初步判断发动机存在失火故障。考虑到该车使用年数较长,决定先使用虹科Pico汽车示波器进行相对压缩测试,以
    虹科Pico汽车示波器 2025-01-15 17:30 22浏览
  • 全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,与汽车技术领先者法雷奥合作,采用创新的开放系统协议(OSP)技术,旨在改变汽车内饰照明方式,革新汽车行业座舱照明理念。结合艾迈斯欧司朗开创性的OSIRE® E3731i智能LED和法雷奥的动态环境照明系统,两家公司将为车辆内饰设计和功能设立一套全新标准。汽车内饰照明的作用日益凸显,座舱设计的主流趋势应满足终端用户的需求:即易于使用、个性化,并能提供符合用户生活方式的清晰信息。因此,动态环境照明带来了众多新机遇。智能LED的应用已
    艾迈斯欧司朗 2025-01-15 19:00 29浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 528浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦