NVIDIA支撑自动驾驶车端云端同步迈入高算力大模型时代

原创 英伟达NVIDIA中国 2023-03-18 10:00

我国汽车产业发展迅速,汽车智能化大势所趋,自动驾驶所需的算力需求高速增长。为了加速自动驾驶生态发展,阿里云自动驾驶加速器与行业领先的主机厂、投资机构携手,结合自身技术、产品、业务资源,为自动驾驶创新企业提供多项支持。


3 月 10-11 日,NVIDIA 开发与技术部门亚太区总经理李曦鹏应邀出席阿里云自动驾驶加速器第一次线下集结活动并发表主题演讲《NVIDIA 支撑自动驾驶车端云端同步迈入高算力大模型时代》,演讲分享了自动驾驶领域 AI 的研发趋势和解决方案。


NVIDIA 开发与技术部门亚太区总经理李曦鹏

图片来源:阿里云自动驾驶加速器


以下为演讲内容:


自动驾驶需要通过大量的传感器获取环境信息,然后对这些数据进行处理和分析,而加速计算可以提供更快的数据处理速度和更高的精度。加速计算不仅对自动驾驶行业十分关键,也在数据处理、互联网和医疗等领域扮演着重要的角色,促进了这些行业的发展。


车端算力对于加速汽车智能化非常重要。作为自动驾驶链条的基础,车上的大算力芯片和解决方案是必不可少的。NVIDIA DRIVE 平台是全球最常用的自动驾驶平台之一,提供各种芯片和解决方案,包括车端、数据中心和仿真解决方案。


安全是开发自动驾驶的第一要务,更大的算力可以提高安全性。NVIDIA 在 2022 年秋季 GTC 宣布的 NVIDIA DRIVE Thor SoC 车规级系统芯片,可实现最高 2000 TOPS AI 算力以及 2000 TFLOPS 浮点算力,可以在单个计算平台整合全车的智驾和座舱功能,为未来的算法和应用发展预留足够空间。



应用和算力需要相互匹配,并且算力的发展需要一定的超前性以留给算法和应用发展足够的空间。近年来,BEV 和 Transformer 在深度学习领域取得了出色的效果,并带来了很大的效率提升。但同时也对计算量提出了更高的要求,因此出现了一些革命性的技术。


例如 Transformer Engine 和专门做 Transformer block 计算的技术等。除了 BEV 和 Transformer,NVIDIA 也针对各种其它模型,与云服务合作伙伴在云端进行训练和预测加速。对于现代加速的集群,其运行应用类别非常多,包括仿真、AI、scientific AI、数字孪生、量子计算等等,而这些应用都是典型的加速计算集群的应用。


当前,硬件性能提升放缓,每年只有 1.1 倍左右,五年期望的 10 倍提升实际只有 2 倍,十年期望的100倍提升只有 4 倍。此时,如果使用加速计算,每年保持 1.6 倍的提速,将为工作负载提供充足算力,成为应对性能瓶颈的重要解决方案。同时,也需要注意到成本问题,包括单个晶体管价格逐年增加、能源消耗、机房建设、供电等问题,因此需要更多的加速计算来降低成本和提高效率。


在自动驾驶领域,NVIDIA 能够提供丰富的工具和解决方案,帮助用户完成AI模型端到端的流程。对于数据预处理,NVIDIA 可以提供结构化和非结构化数据的处理工具,还可以进行图像处理,确保训练和预测的一致性。在训练方面,NVIDIA 可以提供不同的框架,同时也会关注模型的推理。在云端部署时,NVIDIA 提供大规模部署的工具。


NVIDIA 相信未来 10 年内,所有计算任务都将被加速,而 NVIDIA 已经为此做好了准备。加速计算的特点和意义在于,可以提高工作效率、降低成本、提升用户体验,同时也推动产业信息化融合的发展。这些特点和意义决定了 NVIDIA 的工作方式,即与客户和合作伙伴深度合作,根据客户需求设计出最适合的解决方案,共同进步。



加速计算的特点总结如下:


  • 性能数量级上的提升:加速计算可以使模型性能有数十倍甚至上百倍的提升。

  • 应用特异性:上层应用需要根据具体业务场景进行优化,没有一劳永逸的方法。

  • 找出瓶颈:需要从应用自上而下寻找性能瓶颈,然后加速这些瓶颈,以达到整体性能的提升。

  • 端到端的优化:AI 加速器算法的核心是优化,端到端的优化需要软件协同设计,需要业务、算法、工程人员和优化工程师共同配合。


自动驾驶软件产品研发特点如下三点:


  • 第一,自动驾驶的端到端开发需要加速数据模型的流转,并让数据信息充分利用。例如在车端采集数据,需要对这些数据进行高效的利用,在云端进行自动打标或者模型训练、数据推理等过程,让数据从采集到被利用整个过程尽可能快。

  • 第二,云端的训练、预测,车端的验证和部署需要保持模型和数据的对齐。不同的训练框架、预处理库和数据处理方式会导致模型和数据不对齐,因此需要将整个过程自动化起来并做到统一管理。

  • 第三,如果车端和云端的算力出现问题时,需要设计更多创新性的大模型来解决实际的问题。


在云上,自动驾驶应用需要处理大量数据的采集、管理和筛选,数据管理包括人工和自动打标,还需进行模型训练和 REPLAY 验证。如果采集车数量够多,数据采集的长尾效应可以减少单辆车的数据量,但考虑到量产车的数量,数据处理必须更智能、高效。这已然成为自动驾驶企业的共识,而 NVIDIA 也将与云服务合作伙伴,结合在其他行业卓有成效的经验和成果,帮助企业落地相关能力。


总的来说,AI 加速计算可以大幅提升自动驾驶应用的性能,但对于不同的应用场景需要采用特定的方法进行优化。例如在视觉计算领域,Swin-transformer 模型在自驾行业有很好的应用场景,并且训练吞吐可以提高 2.3 倍,从而降低训练时间,提高模型验证和上线速度。


另外,CV-CUDA 开源库是一个通用的高性能图像处理加速库,适用于不同行业的 AI 成像前后处理,目前已经被短视频行业、自动驾驶行业和地图行业等多个领域广泛采用。仅就前处理而言,就可以减少训练和预测中调试工作量,提升模型对齐效果,提升工作效率。



加速计算需要软硬协同设计,仅依靠单一优化手段,很难达到效果,需要尽可能自上而下得去加速更多环节。AI 的核心是加速,而加速的核心是优化,这需要算法和优化工程师配合完成。


在自动驾驶领域,NVIDIA 将与云服务合作伙伴,依托其他领域的成功经验和成果,为车企和自动驾驶企业,提供端到端的全栈式 AI 加速计算解决方案。



即刻点击 “阅读原文”扫描下方海报二维码,锁定 NVIDIA 创始人兼首席执行官黄仁勋的 GTC 主题演讲!北京时间 3 月 21 日 23:00 全球首播,3 月 22 日 10:00 中国重播。深度解读 NVIDIA 加速计算平台如何推动人工智能、元宇宙、云技术和可持续计算的下一波浪潮。加入 GTC23,切勿错过 AI 的决定性时刻!


评论 (0)
  • 文/Leon编辑/cc孙聪颖2025年全国两会进行时,作为“十四五”规划收官之年,本届两会释放出坚定目标、稳中求进、以进促稳等信号。其中,企业家们的建议备受关注,关系到民营经济在2025年的走向。作为国内科技制造业的“老兵”,全国人大代表、TCL集团创始人及董事长李东生在本届两会中提出三份代表建议,包括《关于优化中国科技制造业融资环境的建议》、《关于加强AI深度伪造欺诈管理的建议》和《关于降低灵活就业人员社会保险参保门槛的建议》,表现出对科技制造、AI发展和劳动者保障方面的关注。会后,李东生接受
    华尔街科技眼 2025-03-06 19:41 117浏览
  • 随着自动驾驶技术的迅猛发展,构建高保真、动态的仿真场景成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下,3D高斯点阵渲染(3DGS)技术应运而生,成为自动驾驶仿真场景重建的关键突破。一、3DGS技术概述与原理1、3DGS的技术概述3DGS是一种基于3D高斯分布的三维场景表示方法。通过将场景中的对象转化为多个3D高斯点,每个点包含位置、协方差矩阵和不透明度等信息,3DGS能够精确地表达复杂场景的几何形状和光照特性。与传统的神经辐射场(NeRF)方法相比,
    康谋 2025-03-06 13:17 233浏览
  • ASL6328芯片支持高达 6.0 Gbps 运行速率的交流和直流耦合输入T-MDS 信号,具备可编程均衡和抖动清理功能。ASL6328 是一款单端口 HDMI/DVI 电平转换 / 中继器,具有重新定时功能。它包含 TypeC双模式 DP 线缆适配器寄存器,可用于识别线缆适配器的性能。抖动清理 PLL(锁相环)能够消除输入抖动,并完全重置系统抖动容限,因此能更好地满足更高数据速率下 HDMI 抖动合规性要求。设备的运行和配置可通过引脚设置或 I2C 总线实现。自动断电和静噪功能提供了灵活的电
    QQ1540182856 2025-03-06 14:26 118浏览
  • 在企业管理和职场环境中,权力是一个常被提及却又让人感到微妙的话题。有人觉得它充满吸引力,有人却对它避之不及。然而,不管你对权力的态度如何,理解它、掌握它,甚至善用它,都是职场成功的重要一环。今天,我们就来深入探讨权力的本质,特别是个人权力和社会权力的区别,以及如何在职场中逐步建立属于自己的影响力。权力的两种面貌:你掌控自己,还是掌控他人?说到权力,首先要区分它的两种类型。个人权力是你对自己生活的掌控感。比如,你能自由决定自己的职业方向,不用总是请示他人。这种权力让人感到踏实和满足,是我们在生活中
    优思学院 2025-03-07 15:56 153浏览
  • Sub-GHz,即工作频段低于1GHz的无线通信技术,常见频段有315MHz、433MHz、868MHz与915MHz等。其可借助无线电波在自由空间传播的特性,把数据调制到射频载波上进行传输,达成物联网设备间的无线通信,是物联网设备实现高效、稳定、无缝交互的“通信基石”。典型射频信号(无线电波)收发电路简示在工业自动化、智慧城市、智慧农业与智能家居等物联网领域中,LoRa、Wi-SUN、Z-Wave、Sigfox等工业级通信协议大多运行在Sub-GHz频段。而正是通过Sub-GHz射频技术,传感
    华普微HOPERF 2025-03-07 11:39 135浏览
  •        深夜的公园里,当路灯熄灭后,传统监控摄像头只能拍出模糊的黑白画面,仿佛老式胶片电影里的场景。而搭载为旌瑶光ISP的摄像头,却能像猫科动物一样,在几乎全黑的环境中捕捉到行人衣服的颜色、树叶的纹理,甚至快速跑动的宠物狗毛发细节。这种从“黑白默片”到“全彩4K电影”的跨越,背后是为旌瑶光ISP对传统红外补光技术的颠覆性创新。一、传统方案之困:被红外光“绑架”的夜视世界        传统安防摄像头依赖红外
    中科领创 2025-03-07 16:50 241浏览
  • ​CS6212是一款可分别用于USB Type-C主机/显示端口源应用的带重定时的有源开关。这设备符合USB 3.2标准版本1.0和USB Type-C标准上的VESA DisplayPort Alt模式 1.0版,支持通过GPIO或12C进行灵活的模式切换。此设备支持USB 3.2第2x1代 运行速度高达10Gbps,DisplayPort 1.4运行速度高达HBR3 8.1Gbps。CS6212管脚分布及功能定义:CS6212支持重定时器训练,并支持USB 3.2标准中定义的状态状态机(RT
    QQ1540182856 2025-03-07 10:09 126浏览
  • 一、系统概述MYD-LD25X搭载的Debian系统包含以太网、WIFI/BT、USB、RS485、RS232、CAN、AUDIO、HDMI显示和摄像头等功能,同时也集成了XFCE轻量化桌面、VNC远程操控、SWITCH网络交换和TSN时间敏感网络功能,为工业设备赋予“超强算力+实时响应+极简运维”的体验!类别名称描述源码TF-AArm Trusted Firmware 2.8OP-TEEOP-TEE 3.19BootloaderU-boot 2022.10KernelLinux Ke
    米尔电子嵌入式 2025-03-07 14:08 208浏览
  • 深圳触觉智能RK3506开发板现已上市,开启预售!搭载瑞芯微RK3506B/J超低功耗工业处理器(1.5GHz三核A7+M0,主频1.5GHz);支持1280×1280显示、双百兆网口、星闪无线三模,板载高达2路CAN FD与5路串口。RK3506适用场景简介工业控制‌:RK3506适用于工业控制、工业通信、人机交互等应用场景。其多核异构架构(3xCortex-A7+Cortex-M0)和外设接口丰富,支持Buildroot、Yocto系统,适合轻量级HMI应用‌。‌工业通信‌:RK3506均支
    Industio_触觉智能 2025-03-07 10:04 107浏览
  • 近年来,越来越多的企业在5S管理的基础上,开始追求6S、7S甚至8S管理,仿佛S越多,管理就越先进,企业就越优秀。于是,6S增加了“安全”,7S又加上了“节约”,8S甚至引入了“学习”……看似更加全面,实则很多企业只是机械地增加S,却忽略了管理的核心目标:提升效率、降低浪费、优化工作环境。优思学院认为,5S本身已经是一套成熟的精益管理工具,它的核心理念不仅简单高效,而且易于实施和推广。如果企业只是为了赶时髦,盲目增加S,而没有真正理解5S的本质,那么这些额外的“S”很可能会变成管理上的负担,而不
    优思学院 2025-03-07 12:43 153浏览
  • 服务器应用环境与客户需求PCIe 5.0高速接口技术的成熟驱动着生成式AI与高效能运算等相关应用蓬勃发展。在随着企业对服务器性能的要求日益严苛,服务器更新换代的周期也持续加快。在此背景下,白牌与DIY(Do It Yourself)服务器市场迎来了新的发展契机,但同时也面临着更趋复杂的技术挑战。传统上,白牌与DIY服务器以其高度客制化与成本效益优势受到市场青睐。然而,随着PCIe 5.0等高速技术的导入,服务器系统的复杂度大幅提升,对组装技术与组件兼容性也就提出更高的要求。举个简单的例子来说,P
    百佳泰测试实验室 2025-03-06 17:00 145浏览
  • 深圳触觉智能SOM3506核心板现已上市,搭载瑞芯微RK3506B/J超低功耗处理器(1.5GHz三核A7+M0),低功耗满载仅0.7W,支持40℃~85℃工作环境,即日起宽温级59元/工业级68元,特价开售!芯片介绍RK3506是瑞芯微Rockchip在2024年第四季度全新推出的Arm嵌入式芯片平台,三核Cortex-A7+单核Cortex-M0多核异构设计,CPU频率达1.5Ghz, M0 MCU为200Mhz。RK3506适用场景简介工业控制‌:RK3506适用于工业控制、工业通信、人机
    Industio_触觉智能 2025-03-07 10:03 123浏览
  • 多人同时共享相同无线网络,以下场景是否是您熟悉的日常?姐姐:「妈~我在房间在线上课,影音一直断断续续的怎么上课啊!」奶奶:「媳妇啊~我在在线追剧,影片一直卡卡的,实在让人生气!」除此之外,同时间有老公在跟客户开在线会议,还有弟弟在玩在线游戏,而妈妈自己其实也在客厅追剧,同时间加总起来,共有五个人同时使用这个网络!我们不论是在家里、咖啡厅、餐厅、商场或是公司,都会面临到周遭充斥着非常多的无线路由器(AP),若同时间每位使用者透过手机、平板或是笔电连接到相同的一个网络,可想而知网络上的壅塞及相互干扰
    百佳泰测试实验室 2025-03-06 16:50 124浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦