脑科学融合端到端自动驾驶,马斯克中国门徒新进展,不挑车也不挑芯片

原创 智能车参考 2024-07-18 10:33
一凡 发自 上海
智能车参考 | 公众号 AI4Auto

端到端进入Next Level了?

特斯拉带火了端到端,行业争先转向,抛弃规则驱动,拥抱数据驱动。

甚至有人直呼,数据驱动的端到端,就是自动驾驶的终局。

然而就在最近,由当年特斯拉Autopilot骨干创办的Nullmax,公开提出了一种新的范式:

智能驱动。

将脑科学与自动驾驶结合,尝试探索端到端的下一个阶段。

这一方向也正在吸引知名主机厂和供应商,投入研究,比如理想和地平线。

现在的局势,玄之又玄的端到端,变得更加妙不可言了。

端到端进入Next Level了?

Nullmax近日推出了最新技术方案:Nullmax Intelligence (以下简称NI),基于端到端的架构,采用了多模态大模型安全类脑

首先来看,多模态大模型,参数量十亿级别。

作为源流特斯拉的初创企业,Nullmax同样是纯视觉的信徒,方案没有使用激光雷达。

但其NI模型输入的又不止是视觉信息,还包括了声音,文本等。

输出端则包括驾驶动作,可视化结果以及场景描述。

模型输出结果后,Nullmax还会用两级仲裁机制,评判自车是否会与其他交通参与者发生碰撞。

一级仲裁是行业的常见手段,在此基础上,Nullmax还引入二级仲裁“安全类脑”

所谓“安全类脑”,是一个参数十万量级的神经网络,规模对应斑马鱼的神经元数。

斑马鱼就是脑科学界的“小白鼠”,大脑结构和人脑高度相似,而且可透视,用荧光分子进行处理后,能观测到神经元活动和鱼运动之间的关系,相关成果《Internal state dynamics shape brainwide activity and foraging behaviour》已在《Nature》发表。

共同第一作者李孟博士,是哈佛大学的博士后研究员,现在岩思类脑研究院任职。

Nullmax正是和其合作,将脑科学与自动驾驶结合.

在行业变革之际,理想地平线也正和Nullmax一道,尝试探索这一全新领域。

理想联合清华大学,正尝试将人类的快慢思考,融入自动驾驶,形成系统1和系统2。

地平线智驾方案Super Drive的决策规划核心“交互式博弈算法”,让车子仿佛拥有了一颗“大脑”,背后的思维动因也是人的“慢思考”。

不过Nullmax的“类脑”模型,是直接参考斑马鱼脑结构设计,与两家的灵感来源不同,因此Nullmax在数据驱动的端到端基础上,提出“智能驱动”。

迈向新阶段,“智能驱动”也存在着数据训练两大瓶颈。

Nullmax认为,高质量的数据仍然很关键。但是高质量的数据,可遇不可求,因此Nullmax建立了数据平台,既包括了真实采集的数据,也有视频生成的虚拟数据,两者结合加快算法迭代。

高质量的数据之外,还有一个瓶颈就是训练

包括如何去输入数据,按照什么样的顺序,以及debug模型和调参。

以上就是Nullmax上层技术的最新进展,将在明年初落地。

支持Nullmax商业化落地的关键技术,是其自研中间件平台:

不挑车,不挑芯片,不挑摄像头。

Nullmax的商业化落地

Nullmax的商业化落地,目前主要依托1个平台3个产品方案

1个平台,即中间件平台MaxOS,其将多模态输入token化,解耦软件算法、域控和芯片,尽可能地抽象软件层,支持不同算力平台,适配任意传感器,比如车企定制的摄像头,甚至能适应不同位置。

MaxOS为Nullmax适配不同车型、不同硬件配置,从而落地产品提供了可能。

目前其产品根据算力需求和实现能力,可分为以下三种:

  • 1V2T,一个摄像头,加上一颗德州仪器的2TOPS算力芯片,实现基础的L2级辅助驾驶。

  • 5V/6V8T,5/6个摄像头,利用8TOPS算力,实现高速NOA和记忆泊车,且泊车过程可检测障碍物。

  • 11V,实现L2+,包括高速NOA和自主代客泊车。

Nullmax介绍称,未来智能驱动的方案,将以小于100TOPS的稀疏算力,实现全场景NOA

总结Nullmax的商业化落地,展现出了两大特点:

高灵活度高性价比

Nullmax为什么会选择打造这样的产品?

Nullmax认为,行业利用不同算力规模的芯片,形成了各种各样的方案,但还没有一家做出能够适配不同芯片,覆盖2TOPS-2000TOPS算力区间的方案。

市场一片空白,这就是Nullmax的机会,也是产品具有高灵活度的原因。

另一方面,尽管行业目前高阶智驾卷的很热闹,但热闹都是少部分人的,只有高端车型才能享有高阶智驾,而更广阔的性价比车型,也存在着高阶智驾的需求,因此,Nullmax做出了一套高性价比的方案。

高灵活度和高性价比的方案,已为Nullmax赢得了多家知名合作伙伴,包括头部主机厂比亚迪、奇瑞、上汽和福特等,以及知名Tier 1大陆德赛西威等。

创立八年,Nullmax从硅谷出发,是如何一步步打通商业模式,赢得伙伴信任的?

Nullmax的创立与发展

Nullmax创始人、CEO兼CTO徐雷,本科毕业于中国科学技术大学计算机科学专业,后在美国纽约州立大学法罗分校获得计算机科学博士学位。

毕业后,徐雷曾在高通工作过三年,后加盟特斯拉,成为特斯拉Autopilot团队核心成员工作直接汇报给马斯克

在特斯拉期间,徐雷从零开始领导搭建Tesla Vision深度学习网络,并用其成功取代了第一代产品中Mobleye的视觉系统,后来Model X搭载的方案,就是徐雷领导研发的。

2016年,徐雷离开特斯拉,与同事特斯拉供应链及产品高级经理宋新雨,在硅谷联合成立了Nullmax,是国内最早获得加州自动驾驶路测牌照的公司之一。

2017年初,Nullmax总部落地上海。

两年后,Nullmax很快发布了L3级自动驾驶方案,Max 1.0,可实现高速代驾和自主泊车,直接开上了上海中环。

不过就在此次发布会后,Nullmax罕有对外发声,直到四年以后。

2023年冬,当Nullmax再度回归到聚光灯下时,已经实现产品交付上车,并且获得了7.8亿元的新融资,累计吸金超10.66亿元

成立八年,起于硅谷,兴于上海的Nullmax,在沉寂中悄然壮大,跑通了商业模式。

并且技术方面,持续探索,在行业争相转向之际,再次召开技术发布会发声,提出了新的范式。

不是简单的去用模型取代原有的规则模块,而是进行了一些有意思的探索,比如将多模态大模型上车,脑科学引入自动驾驶。

在发布会后,徐雷也发出感慨,“只有不断地探索,不可能一下子找到最优解。”

探索的道路上,行业竞争不可避免。

谁是给行业造成竞争压力最大的玩家?

毫无疑问,正是徐雷曾在硅谷给他打工过的那个男人。

面对竞争,在谈到如何看待特斯拉的FSD入华时,徐雷做了很有意思的类比,展现了洒脱与期待:

高水平的比赛,才能培养出高水平的球员。

引进高水平的方案,行业才会变得更强。

— 联系作者 —

智能驾驶2023年度评选结果

在经过广泛征集、专业推荐,以及智能车参考垂直社群的万人票选后,智能车2023年度评选结果正式发布。涵盖三类奖项:

· 十大智能车领军人物

· 十大智能车产品

· 十大智能车技术方案

在汽车工业迎来百年未有之大变局时,我们希望能以此提供智能维度的参考和注脚。

其中,十大智能车技术方案是:

<< 左右滑动查看更多 >>


—  —

智能车参考】原创内容,未经账号授权,禁止随意转载。

点这里👇关注我,记得标星,么么哒~

智能车参考 在这里读懂智能汽车变革
评论
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 205浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 128浏览
  •     为控制片内设备并且查询其工作状态,MCU内部总是有一组特殊功能寄存器(SFR,Special Function Register)。    使用Eclipse环境调试MCU程序时,可以利用 Peripheral Registers Viewer来查看SFR。这个小工具是怎样知道某个型号的MCU有怎样的寄存器定义呢?它使用一种描述性的文本文件——SVD文件。这个文件存储在下面红色字体的路径下。    例:南京沁恒  &n
    电子知识打边炉 2025-01-04 20:04 113浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 103浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 105浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 152浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 117浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 92浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 77浏览
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 90浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 150浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 184浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 91浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦