前特斯拉工程师，把类脑计算带进自动驾驶

原创赛博汽车 2024-07-19 08:03

年终搞个特价示波器奖励员工？ 泰克2/3/4系列示波器、信号发生器大促

作者 | 褚万博

编辑 | 章涟漪

一种很新的自动驾驶技术路径，出现了。

同样是端到端，但在感知层面引入包括视觉、声音、文本等不同类型的信息，通过多形态的感知元素token化输入，形成多模态感知的的端到端自动驾驶大模型。

类似的想法马斯克在此前也表达过，即将声音纳入自动驾驶的感知，但至今并未实现。

最外层保证安全底线的技术，则是引入一个对自动驾驶行业非常陌生的技术——类脑科学，通过模拟生物大脑运行机制和对危险感知规避的天性，代替以规则代码为主的安全保障层。

类脑科学+多模态端到端大模型，当下算是行业内一种少有，或者是没有过的尝试。

技术方案被叫做Nullmax Intelligence（NI），来自一家此前声量并不算大的渐进式自动驾驶公司：Nullmax（纽劢）。

一个在业内不太显眼的团队，做出的没人见过的方案。这家公司从何而来，有何独到之处？

从特斯拉到Nullmax

长久以来，业内关于Nullmax的信息并不多见，这家公司上一次敞开向外界展示技术方案，还是在2019年，等到最近Nullmax Intelligence自动驾驶方案发布，已经过去5年时间。

Nullmax融资情况

融资方面放在同时期的自动驾驶公司中间也并不算出彩，企查查结果显示，自成立至今，Nullmax经历5轮融资，累计披露融资金额不到10亿元。

行事确实低调，但背后团队履历相当亮眼。

公开信息显示，Nullmax在2016年成立于美国硅谷，其创始人徐雷，本科毕业于中国科学技术大学计算机科学专业，之后前往美国深造，并取得纽约州立大学布法罗分校计算机科学博士学位。

在创立Nullmax前，徐雷曾在高通有过3年的工作经历，后来加入特斯拉，担任特斯拉自动驾驶高级计算机视觉工程师。

Nullmax创始人徐雷

在特斯拉履职期间，徐雷主要负责的，就是Autopilot视觉研发，担任Tesla Vision深度学习负责人，曾从零开始组织研发Tesla Vision深度学习网络。

最终在2016年，Autopilot 2.0成功取代Mobileye的视觉系统，在Model X上量产。

另一位核心团队成员宋新雨，同样来自特斯拉，曾在特斯拉任职研发质量和供应链部门高级经理，期间曾是Autopilot及娱乐系统开发团队核心骨干成员。

Autopilot 1.0和Autopilot 2.0系统的研发和产品化之路，宋新雨也有过深度参与。

2016年，正值Autopilot结果之时，在特斯拉相识的徐雷与宋新雨出走特斯拉，成立Nullmax。由徐雷担任CEO兼CTO职位，主导技术研发工作，宋新雨则出任COO一职，负责公司运营。

在这个关键时刻离开特斯拉选择创业，徐雷告诉《赛博汽车》，一是在特斯拉看到了传统车企以及Tier 1在智能化转型过程中，一些以AI驱动应用能力的缺失，比如智能驾驶；二则是特斯拉作为一家车企，其本身的愿景是可持续能源的发展。

而Nullmax，最终的目标是自动驾驶乃至之后完全的无人驾驶。

不过，特斯拉的经历也对Nullmax最初选择自动驾驶实现路线产生了重要的影响，即纯视觉、渐进式的自动驾驶路线。

Nullmax在2019年发布MAX 1.0

2019年，Nullmax发布其自动驾驶解决方案（现在来看要归类于L3以下的智能驾驶）MAX 1.0，方案基于英伟达Xavier 平台，感知套件采用12个摄像头+5个毫米波雷达+12个超声波雷达，可以实现包括泊车、高速上的高阶智能驾驶功能。

同时，需要注意的是，这套方案并没有高精地图。去（激光）雷达，去（高精）地图这类近两年争议才收敛起来的议题，Nullmax确实在2019年的时候就有了前瞻的判断。

等到业内意见基本统一后，时隔5年，Nullmax又带着一套没人见过（至少是准量产心态）的方案走来了。

依旧是前瞻？

类脑计算？一种很新的自动驾驶

至少从两个方面来说，Nullmax此次带来的自动驾驶方案Nullmax Intelligence，是截止到目前业内发布的方案中的唯一。

按照当前端到端大模型的理解，相比此前感知、规控、执行等等模块化的环节，自动驾驶大模型可以从感知到决策一个模型通路解决，但当下各家除了特斯拉，基本是在感知层面，或者是从传感器数据输入到感知结果输出一个模块大模型，规控、决策仍然处于小模块（层层递进）阶段。

Nullmax Intelligence大概逻辑

但根据Nullmax现场展示的方案来看，NI是从感知到执行一个大模型解决，并且在此之外，声音、文本等等环境信息，通过token化可以一起为大模型提供感知。

类似的想法马斯克此前有过发声，比如将路面环境声音信息作为感知输入自动驾驶系统，不过目前来看还停留在想法阶段。

大模型的输出端，则包含3个部分：即时的驾驶动作、可视化结果以及延时0.2秒的场景描述（文本）。

驾驶动作即执行层面，而场景描述，按照我们的理解，是作为一种模型验证以及问题回溯的工具出现，也就是解释修正大模型的作用。

这里的一个问题是，多模态感知意味着感知信息的类型增加、数据量提升，这对模型的计算提出了更大的要求，最后落到一个问题上就是，车端计算芯片算力是否足够。

这里需要注意的是，根据Nullmax的说法，这套方案稀疏算力100 TOPS就够用。

对于这个问题，Nullmax表示，其大模型是一个非attention机制的一种语言模型，不同感知信息token化之后进入大模型，对算力的要求是非常低的。

安全类脑概念

除了多模态的感知输入，Nullmax还在最新的自动驾驶方案中引入了一个“安全类脑”的概念。

这个概念对于自动驾驶大模型来说可能比较陌生，但类脑计算本身在全世界范围内的前沿科学中比较火热。这里简单介绍一下，所谓类脑计算是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计以及应用模型与算法的总称。

已经是一个非常庞大的学科，但简单理解，就是借鉴生物大脑的运行方式处理问题。

具体来看，Nullmax在这套方案中，通过解密10万神经元级别的斑马鱼大脑避险的运作方式，为自动驾驶提供一个安全底线。即在大模型输出结果后，在判定有误的情况下快速做出安全动作。

在Nullmax的方案中，大模型输出的结果作为一级仲裁，安全类脑为二级仲裁，两个结果一致时正常执行，不一致时由二级仲裁。

这种机制是大多数自动驾驶玩家的共同选择，即在大模型输出结果之外还有另一套负责底线的模型兜底。不过更多的玩家趋向于采用规则代码这种直观的方式去作为最后一道安全屏障。

引入类脑计算，Nullmax还是第一个。为什么不要规则代码而用类脑计算？

Nullmax认为，规则代码无法穷尽场景，而类脑计算可以利用生物大脑对于危险情况的反应，快速做出反应。

当然，作为自动驾驶公司，横跨学科有点难度。安全类脑的成果并非Nullmax原创，而是来自岩思类脑研究院的李孟团队。

安全类脑学术成果发表在《Nature》

相关研究研究论文《Internal state dynamics shape brainwide activity and foraging behaviour》曾在《Nature》发表。

多模态+类脑计算，在我们能看到的自动驾驶解决方案中，是独一档的存在。

这种技术方案是否真的有效，是否会比现有端到端大模型的体验更好，我们不做评判，因为还需要验证，根据徐雷的透露，这套方案将会在明年初落地。

届时相信会得到答案。

抛开这套技术本身，Nullmax这家声量并不大的自动驾驶公司，或者是智能驾驶方案供应商给了我们另一个话题的启发。

智能驾驶方案小厂，怎么活？

事实上，智能驾驶方案供应商中，体量不大的这部分玩家如何生存，已经成了业内热议的一个话题。

现实也确实不那么乐观，一方面，在主机厂降本增效的大趋势下，作为供应链的一环，利润寒气会传导过来，尤其是体量不大，话语权比较小的小厂；

另一方面，融资环境不够理想的大环境，等待变现的投资人，普遍亏损的经营现状……如此等等，再加上技术资源和投入劣于大厂，担忧很多，讨论也很多。

对于这些问题，Nullmax部分回答了我们。

首先是在技术投入上的天然劣势。当自动驾驶进入端到端大模型阶段，有2个关键因素比较重要，一是大量真实数据的投喂，二是AI算力的模型训练支持。

一个需要车，一个需要高成本投入。

第三方智能驾驶方案公司，尤其是小体量玩家，二者都没有，这还怎么玩？

Nullmax认为后期虚拟数据占比更多

徐雷对此的回答是，在自动驾驶训练的初期，真实有效数据很关键，但随着模型的逐渐成熟，真实场景数据在模型训练后期的增益效果以及需要的量会变小，AIGC生成虚拟数据就非常关键。

而在AI算力方面，徐雷表示，在给定预算下，让哪些数据先进系统，怎么去在训练中调它的收敛速度，调参数，能让系统性能提升更高，这里面是有很多技巧，并不是说多少张卡（AI芯片）多少数据就对应了性能多少的提升。

简而言之，以技巧取胜。

其次是作为第三方的供应商，如何低成本开发适配不同需求、车型的产品方案。

Nullmax的做法是，通过MaxOS中间件平台，实现软硬件解耦，实现不同计算平台、不同传感器配置（包括激光雷达）、不同层级智能驾驶功能，适配同一个软件算法平台。

当前Nullmax的产品序列在这一套模式下，分成低、中、高3个组合方案，包括：

1、1V2T，一个摄像头，加上一颗德州仪器的2TOPS算力芯片，实现基础的L2级辅助驾驶；

2、5V/6V8T，5/6个摄像头，利用8TOPS算力，实现高速NOA和记忆泊车，且泊车过程可检测障碍物；

3、11V，实现L2+，包括高速NOA和自主代客泊车。

Nullmax产品方案

最后，我们上文提到的“类脑计算”，其实并非是Nullmax原创，而是来自岩思类脑研究院。这个岩思类脑研究院后面的母公司，也是Nullmax的控股母公司岩山科技。

就是那个去年10月份斥资7.8亿元投资Nullmax的岩山科技。

所以还在找出路的智能驾驶方案商们懂了吗？上市不是当下唯一的选择，先找棵大树也不错。

-END-

更多阅读——

登录阅读全文



免责声明：该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系： nick.zong@aspencore.com！

赛博汽车聚焦智能汽车、自动驾驶,与产业共同成长.

进入专栏

赛博汽车聚焦智能汽车、自动驾驶,与产业共同成长.

文章：322篇粉丝：0人

 私信

前特斯拉工程师，把类脑计算带进自动驾驶

最近文章

热门文章

推荐

最新资讯