前特斯拉工程师,把类脑计算带进自动驾驶

原创 赛博汽车 2024-07-19 08:03

作者 | 褚万博

编辑 | 章涟漪


一种很新的自动驾驶技术路径,出现了。
同样是端到端,但在感知层面引入包括视觉、声音、文本等不同类型的信息,通过多形态的感知元素token化输入,形成多模态感知的的端到端自动驾驶大模型。
类似的想法马斯克在此前也表达过,即将声音纳入自动驾驶的感知,但至今并未实现。
最外层保证安全底线的技术,则是引入一个对自动驾驶行业非常陌生的技术——类脑科学,通过模拟生物大脑运行机制和对危险感知规避的天性,代替以规则代码为主的安全保障层。
类脑科学+多模态端到端大模型,当下算是行业内一种少有,或者是没有过的尝试。
技术方案被叫做Nullmax Intelligence(NI),来自一家此前声量并不算大的渐进式自动驾驶公司:Nullmax(纽劢)。
一个在业内不太显眼的团队,做出的没人见过的方案。这家公司从何而来,有何独到之处?
01
从特斯拉到Nullmax
长久以来,业内关于Nullmax的信息并不多见,这家公司上一次敞开向外界展示技术方案,还是在2019年,等到最近Nullmax Intelligence自动驾驶方案发布,已经过去5年时间。

Nullmax融资情况

融资方面放在同时期的自动驾驶公司中间也并不算出彩,企查查结果显示,自成立至今,Nullmax经历5轮融资,累计披露融资金额不到10亿元。
行事确实低调,但背后团队履历相当亮眼。
公开信息显示,Nullmax在2016年成立于美国硅谷,其创始人徐雷,本科毕业于中国科学技术大学计算机科学专业,之后前往美国深造,并取得纽约州立大学布法罗分校计算机科学博士学位。
在创立Nullmax前,徐雷曾在高通有过3年的工作经历,后来加入特斯拉,担任特斯拉自动驾驶高级计算机视觉工程师。
Nullmax创始人徐雷
在特斯拉履职期间,徐雷主要负责的,就是Autopilot视觉研发,担任Tesla Vision深度学习负责人,曾从零开始组织研发Tesla Vision深度学习网络。
最终在2016年,Autopilot 2.0成功取代Mobileye的视觉系统,在Model X上量产。
另一位核心团队成员宋新雨,同样来自特斯拉,曾在特斯拉任职研发质量和供应链部门高级经理,期间曾是Autopilot及娱乐系统开发团队核心骨干成员
Autopilot 1.0和Autopilot 2.0系统的研发和产品化之路,宋新雨也有过深度参与。
2016年,正值Autopilot结果之时,在特斯拉相识的徐雷与宋新雨出走特斯拉,成立Nullmax。由徐雷担任CEO兼CTO职位,主导技术研发工作,宋新雨则出任COO一职,负责公司运营。
在这个关键时刻离开特斯拉选择创业,徐雷告诉《赛博汽车》,一是在特斯拉看到了传统车企以及Tier 1在智能化转型过程中,一些以AI驱动应用能力的缺失,比如智能驾驶;二则是特斯拉作为一家车企,其本身的愿景是可持续能源的发展。
而Nullmax,最终的目标是自动驾驶乃至之后完全的无人驾驶。
不过,特斯拉的经历也对Nullmax最初选择自动驾驶实现路线产生了重要的影响,即纯视觉、渐进式的自动驾驶路线。
Nullmax在2019年发布MAX 1.0
2019年,Nullmax发布其自动驾驶解决方案(现在来看要归类于L3以下的智能驾驶)MAX 1.0,方案基于英伟达Xavier 平台,感知套件采用12个摄像头+5个毫米波雷达+12个超声波雷达,可以实现包括泊车、高速上的高阶智能驾驶功能。
同时,需要注意的是,这套方案并没有高精地图。去(激光)雷达,去(高精)地图这类近两年争议才收敛起来的议题,Nullmax确实在2019年的时候就有了前瞻的判断。
等到业内意见基本统一后,时隔5年,Nullmax又带着一套没人见过(至少是准量产心态)的方案走来了。
依旧是前瞻?
02
类脑计算?一种很新的自动驾驶
至少从两个方面来说,Nullmax此次带来的自动驾驶方案Nullmax Intelligence,是截止到目前业内发布的方案中的唯一。
按照当前端到端大模型的理解,相比此前感知、规控、执行等等模块化的环节,自动驾驶大模型可以从感知到决策一个模型通路解决,但当下各家除了特斯拉,基本是在感知层面,或者是从传感器数据输入到感知结果输出一个模块大模型,规控、决策仍然处于小模块(层层递进)阶段。
Nullmax Intelligence大概逻辑
但根据Nullmax现场展示的方案来看,NI是从感知到执行一个大模型解决,并且在此之外,声音、文本等等环境信息,通过token化可以一起为大模型提供感知。
类似的想法马斯克此前有过发声,比如将路面环境声音信息作为感知输入自动驾驶系统,不过目前来看还停留在想法阶段。
大模型的输出端,则包含3个部分:即时的驾驶动作、可视化结果以及延时0.2秒的场景描述(文本)。
驾驶动作即执行层面,而场景描述,按照我们的理解,是作为一种模型验证以及问题回溯的工具出现,也就是解释修正大模型的作用。
这里的一个问题是,多模态感知意味着感知信息的类型增加、数据量提升,这对模型的计算提出了更大的要求,最后落到一个问题上就是,车端计算芯片算力是否足够。
这里需要注意的是,根据Nullmax的说法,这套方案稀疏算力100 TOPS就够用。
对于这个问题,Nullmax表示,其大模型是一个非attention机制的一种语言模型,不同感知信息token化之后进入大模型,对算力的要求是非常低的。
安全类脑概念
除了多模态的感知输入,Nullmax还在最新的自动驾驶方案中引入了一个“安全类脑”的概念。
个概念对于自动驾驶大模型来说可能比较陌生,但类脑计算本身在全世界范围内的前沿科学中比较火热。这里简单介绍一下,所谓类脑计算是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计以及应用模型与算法的总称。
已经是一个非常庞大的学科,但简单理解,就是借鉴生物大脑的运行方式处理问题。

具体来看,Nullmax在这套方案中,通过解密10万神经元级别的斑马鱼大脑避险的运作方式,为自动驾驶提供一个安全底线。即在大模型输出结果后,在判定有误的情况下快速做出安全动作。
在Nullmax的方案中,大模型输出的结果作为一级仲裁,安全类脑为二级仲裁,两个结果一致时正常执行,不一致时由二级仲裁。
这种机制是大多数自动驾驶玩家的共同选择,即在大模型输出结果之外还有另一套负责底线的模型兜底。不过更多的玩家趋向于采用规则代码这种直观的方式去作为最后一道安全屏障。
引入类脑计算,Nullmax还是第一个。为什么不要规则代码而用类脑计算?
Nullmax认为,规则代码无法穷尽场景,而类脑计算可以利用生物大脑对于危险情况的反应,快速做出反应。
当然,作为自动驾驶公司,横跨学科有点难度。安全类脑的成果并非Nullmax原创,而是来自岩思类脑研究院的李孟团队。
安全类脑学术成果发表在《Nature》
相关研究研究论文《Internal state dynamics shape brainwide activity and foraging behaviour》曾在《Nature》发表。
多模态+类脑计算,在我们能看到的自动驾驶解决方案中,是独一档的存在。
这种技术方案是否真的有效,是否会比现有端到端大模型的体验更好,我们不做评判,因为还需要验证,根据徐雷的透露,这套方案将会在明年初落地。
届时相信会得到答案。
抛开这套技术本身,Nullmax这家声量并不大的自动驾驶公司,或者是智能驾驶方案供应商给了我们另一个话题的启发。
03
智能驾驶方案小厂,怎么活?
事实上,智能驾驶方案供应商中,体量不大的这部分玩家如何生存,已经成了业内热议的一个话题。
现实也确实不那么乐观,一方面,在主机厂降本增效的大趋势下,作为供应链的一环,利润寒气会传导过来,尤其是体量不大,话语权比较小的小厂;
另一方面,融资环境不够理想的大环境,等待变现的投资人,普遍亏损的经营现状……如此等等,再加上技术资源和投入劣于大厂,担忧很多,讨论也很多。
对于这些问题,Nullmax部分回答了我们。
首先是在技术投入上的天然劣势。当自动驾驶进入端到端大模型阶段,有2个关键因素比较重要,一是大量真实数据的投喂,二是AI算力的模型训练支持。
一个需要车,一个需要高成本投入。
第三方智能驾驶方案公司,尤其是小体量玩家,二者都没有,这还怎么玩?
Nullmax认为后期虚拟数据占比更多
徐雷对此的回答是,在自动驾驶训练的初期,真实有效数据很关键,但随着模型的逐渐成熟,真实场景数据在模型训练后期的增益效果以及需要的量会变小,AIGC生成虚拟数据就非常关键。
而在AI算力方面,徐雷表示,在给定预算下,让哪些数据先进系统,怎么去在训练中调它的收敛速度,调参数,能让系统性能提升更高,这里面是有很多技巧,并不是说多少张卡(AI芯片)多少数据就对应了性能多少的提升。
简而言之,以技巧取胜。
其次是作为第三方的供应商,如何低成本开发适配不同需求、车型的产品方案。
Nullmax的做法是,通过MaxOS中间件平台,实现软硬件解耦,实现不同计算平台、不同传感器配置(包括激光雷达)、不同层级智能驾驶功能,适配同一个软件算法平台。
当前Nullmax的产品序列在这一套模式下,分成低、中、高3个组合方案,包括:
1、1V2T,一个摄像头,加上一颗德州仪器的2TOPS算力芯片,实现基础的L2级辅助驾驶;
2、5V/6V8T,5/6个摄像头,利用8TOPS算力,实现高速NOA和记忆泊车,且泊车过程可检测障碍物;
3、11V,实现L2+,包括高速NOA和自主代客泊车。
Nullmax产品方案
最后,我们上文提到的“类脑计算”,其实并非是Nullmax原创,而是来自岩思类脑研究院。这个岩思类脑研究院后面的母公司,也是Nullmax的控股母公司岩山科技。
就是那个去年10月份斥资7.8亿元投资Nullmax的岩山科技。
所以还在找出路的智能驾驶方案商们懂了吗?上市不是当下唯一的选择,先找棵大树也不错。
-END-

更多阅读——

赛博汽车 聚焦智能汽车、自动驾驶,与产业共同成长.
评论
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 108浏览
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 457浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 495浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 489浏览
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 325浏览
  • 电动汽车(EV)正在改变交通运输,为传统内燃机提供更清洁、更高效的替代方案。这种转变的核心是电力电子和能源管理方面的创新,而光耦合器在其中发挥着关键作用。这些不起眼的组件可实现可靠的通信、增强安全性并优化电动汽车系统的性能,使其成为正在进行的革命中不可或缺的一部分。光耦合器,也称为光隔离器,是一种使用光传输电信号的设备。通过隔离高压和低压电路,光耦合器可确保安全性、减少干扰并保持信号完整性。这些特性对于电动汽车至关重要,因为精确控制和安全性至关重要。 光耦合器在电动汽车中的作用1.电池
    腾恩科技-彭工 2025-01-10 16:14 75浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 444浏览
  • 数字隔离芯片是现代电气工程师在进行电路设计时所必须考虑的一种电子元件,主要用于保护低压控制电路中敏感电子设备的稳定运行与操作人员的人身安全。其不仅能隔离两个或多个高低压回路之间的电气联系,还能防止漏电流、共模噪声与浪涌等干扰信号的传播,有效增强电路间信号传输的抗干扰能力,同时提升电子系统的电磁兼容性与通信稳定性。容耦隔离芯片的典型应用原理图值得一提的是,在电子电路中引入隔离措施会带来传输延迟、功耗增加、成本增加与尺寸增加等问题,而数字隔离芯片的目标就是尽可能消除这些不利影响,同时满足安全法规的要
    华普微HOPERF 2025-01-15 09:48 74浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 465浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 520浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 477浏览
  • 在不断发展的电子元件领域,继电器——作为切换电路的关键设备,正在经历前所未有的技术变革。固态继电器(SSR)和机械继电器之间的争论由来已久。然而,从未来发展的角度来看,固态继电器正逐渐占据上风。本文将从耐用性、速度和能效三个方面,全面剖析固态继电器为何更具优势,并探讨其在行业中的应用与发展趋势。1. 耐用性:经久耐用的设计机械继电器:机械继电器依靠物理触点完成电路切换。然而,随着时间的推移,这些触点因电弧、氧化和材料老化而逐渐磨损,导致其使用寿命有限。因此,它们更适合低频或对切换耐久性要求不高的
    腾恩科技-彭工 2025-01-10 16:15 100浏览
  • 食物浪费已成为全球亟待解决的严峻挑战,并对环境和经济造成了重大影响。最新统计数据显示,全球高达三分之一的粮食在生产过程中损失或被无谓浪费,这不仅导致了资源消耗,还加剧了温室气体排放,并带来了巨大经济损失。全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,艾迈斯欧司朗基于AS7341多光谱传感器开发的创新应用来解决食物浪费这一全球性难题。其多光谱传感解决方案为农业与食品行业带来深远变革,该技术通过精确判定最佳收获时机,提升质量控制水平,并在整个供应链中有效减少浪费。 在2024
    艾迈斯欧司朗 2025-01-14 18:45 57浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 180浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦