标准CPU和SoC与自动驾驶(AV)和驾驶监控系统(DMS)高效处理所需的专业加工和流水线架构失配，严重影响处理效率。最近，Seeing Machines公司发布技术白皮书，决定开发一个专有架构，以尽可能高效地执行面向DMS的处理。而采用的生态机制，和ARM的内核许可颇为类似。该公司看起来很像下一个Arm！
刚刚结束的CES上，在远离拉斯维加斯大道的烟雾弥漫和建筑“镜子”的地方，Ojo-Yoshida Report发表了一份题为“驾驶员监控系统嵌入挑战”的技术白皮书，该白皮书由Seeing Machines编写。作者们在文中描述了行业标准下的CPU和SoC通常与高效DMS处理所需的专业加工和流水线结构不甚匹配的情况：
“DMS产品本质上是高性能的实时计算系统。从处理方式来看，将视频推入一条处理流水线，该流水线在一系列阶段中处理连续的像素流，其中将互连算法的各层级结构(或DMS“引擎”)从图像数据中排除并从图像数据中提取有用信息，将高阶信息从一个阶段传递到下一个阶段，最后产生一组低带宽的高价值结果，如驾驶员正看向哪里以及他们是否分心或受影响。”
作者接着写道：
“在包含DMS功能的汽车嵌入式系统中，可以说几乎都要利用特殊的处理器设计来加速流水线的各个阶段。不是因为通用CPU无法执行这一流程，但这仅仅是因为通用CPU的可用资源几乎永远都不够，而且通常用更有效的方法来执行特定类型的功能，包括图像预处理、计算机视觉算子、信号处理和神经网络。”
根据Seeing Machines的说法，将DMS算法映射到给定芯片时，遇到的问题几乎都与数据流效率低下以及片上和片外内存的次优使用有关。作者发现：
“加速器通常能以闪电般的速度完成数值运算，但将数据移动到流水线的下一阶段时，却不得不在外部DDR存储器中缓冲数据，这会让我们大失所望。这再次表明芯片在设计时根本没有考虑到面向DMS的流水线配置。”
与Arm相似的地方在于，Seeing Machines决定开发一个专有架构，以尽可能高效地执行面向DMS的处理。作者描述了软硬件协同设计方法的优点，之后总结了它为其Occula神经处理单元(NPU)带来的好处：
“尽管Occula NPU起初是为DMS解决方案设计和构建的，但它与Seeing Machines的DMS算法堆栈结合后，可为更多产品赋予性能优势——包括所有价格敏感或功率敏感的产品，并且它可以由理解人类行为的上下文信息而获得优势。”
作者得出结论是：
“开发Occula不仅是为了解决DMS应用范围有限的问题，而且更广泛地用于理解人类。”
低调的开始
Arm在嵌入式处理领域的胜利果实之种是在20世纪90年代初播下的，当时的愿景是对高效处理器内核的巨大需求与许可知识产权的商业模式结合起来。商业成功首先出现在手机上，首先是诺基亚的GSM基带处理器，该处理器是与德州仪器公司合作设计的。
Arm公司从英国剑桥郊外的一座改装过的谷仓里简陋起步，如今发展到在手机(以及后来的智能手机)领域占据全球主导地位，并将其业务稳步扩展到了消费电子、汽车、工业、医疗和通信基础设施等领域。
在过去的30年时间里，Arm利用CPU内核许可模式，建立了一个广泛的合作伙伴生态系统，这些内核从最初的ARM1到最新的Cortex-A710和Cortex-X2。
Seeing Machines，其总部位于澳大利亚堪培拉一个鲜为人知的郊区Fyshwick，已研发数年，利用的是与Arm大体相似的许可模式。2020年9月，宣布了下一代汽车战略，其中包含三大支柱：
1.Fovio芯片，采用Xilinx Zynq-7000系列的FPGA技术，针对驾驶员和乘客监控进行了优化。
2.嵌入式驾驶员监控引擎(e-DME)，针对加速(如高通、德州仪器)和非加速(如英伟达)处理进行了优化。
3.允许以ASIC的形式获得Occula NPU的使用许可。
正如2022年CES所展示的，Seeing Machines基于许可的汽车战略，正在迅速形成一个广泛的合作伙伴生态系统。我们来看一些公告。
豪威科技OAX4600
在2021年CES上，豪威科技宣布其成为OcculaNPU的首个芯片许可商。在2022年CES上，豪威推出了OAX4600ASIC，将图像信号处理器(ISP)与OcculaNPU相结合。豪威还发布了用于车内监控的500万像素(MP)RGB-IR图像传感器——OX05B1S。
总体而言，该双芯片解决方案，可以被视为高度优化的“成像信号链”的一个实例，包括一个既与前端的5MP OX05B1S图像传感器又与后端的Occula NPU均适配的ISP。该解决方案在乘客监控后视镜中的应用看起来非常成功，例如Magna的后视镜，从下图可见，在其内集成光学组件和图像处理器时，无论是空间还是功率都非常受限。
与其他汽车图像传感器供应商(包括Onsemi、索尼和意法半导体)相比，豪威作为Occula NPU目前唯一的许可商，具有明显的竞争优势，其目标是进军关键大众市场，成为今/明两年能助力驾驶员和乘员监控技术的汽车原始设备制造商。
安霸CV2x
安霸很少被认为是汽车行业OEM的处理器供应商。然而，正如其在“资本市场日”展示的幻灯片所示，这种情况正开始改变。
安霸近日发布了其基于CV2x的参考设计平台，该平台能进行视觉处理，并将Seeing Machines的驾驶员监控软件与前向ADAS功能相融合，以提供完整的、集成的DMS与ADAS解决方案。
目前看来，安霸正以“开放平台”战略(高通也采取了相同战略)为基础，在高级驾驶辅助系统(ADAS)领域与Mobileye展开竞争，同时以低于Nvidia的性能和价格瞄准软件定义平台。
根据Ali Kani(英伟达汽车部门副总裁/总经理)在CES上的主题演讲，英伟达对ADAS的兴趣似乎在日益丧失，而对DMS则完全不感兴趣。正如Egil Juliussen最近强调的那样，Nvidia在robotaxi平台的处理器供应中占据主导地位，这或许解释了Nvidia显然专注于最高级别的驾驶自动化。
安霸等供应商似乎已经抓住了这一战略转变，安霸正在努力搭建自身的汽车生态系统，包括与Seeing Machines开展合作，如下图所示。
高通的骁龙愿景
高通借2022年CES，再次挑战Mobileye和英伟达在高性能汽车处理器领域的领导地位，详见其主题演讲视频。
过去三年中，英伟达宣布与现代汽车、梅赛德斯-奔驰和沃尔沃汽车三大全球知名汽车制造商建立合作伙伴关系。为了证明其影响力，高通就在本次主题演讲中迅速宣布与本田、雷诺和沃尔沃汽车(再次)达成合作。
高通公司CES上展示的是其Snapdragon Ride Vision系统，这是一款4nm的SoC，旨在优化用于ADA和自动驾驶的前置和环绕摄像头的实现。如本幻灯片所示，Seing Machines现在是高通Snapdragon Ride平台上唯一一家指定的DMS专业软件供应商，经过优化，可在Spectra ISP上运行。
Seeing Machines还在2022年CES上宣布扩展其软件堆栈，包括集成在高通骁龙驾驶舱平台上的乘客监控，基本确定该平台使用了之前提到的500万像素豪威OX05B1S图像传感器进行优化。
福特与大众合作开发高级驾驶辅助系统？
有充分证据表明福特和与大众合作研发自动驾驶。然而，具体细节隐藏在这张幻灯片中，来自Mobileye的Amnon Shashua所作的“Under the Hood”幻灯片展示。
这意味着两家汽车制造商之间的技术合作目前还能扩展到ADAS和下一代免手动的“高速公路辅助”系统，该系统由Mobileye的EyeQ处理器驱动并使用Mobileye的REM地图。
研究表明，福特和大众都将集成Seeing Machines的DMS，福特的BlueCruise使用Veoneer开发的系统，该系统由Seeing Machines的Fovio芯片驱动，而大众使用的是麦格纳开发的系统，该系统由在德州仪器TDA4VM Jacinto处理器上运行的Seeing Machines软件驱动。
能理解手臂、头部和眼睛行为
马克·吐温有一言“历史不会重演，但经常再现。”常为人津津乐道。Arm最初可能只想开发一种高效的处理器架构，后来却颠覆了通信设备和消费电子产品，并推动了物联网的发展。
68000、MIPS和Power Architecture是90年代另外三大成熟的嵌入式处理架构，但Arm生态系统的强势崛起使它们全部销声匿迹，正可谓成功只会孕育更成功。
Seeing Machines的商业模式并非完全照搬Arm，但也有所参照。最初只是一个普通的软件，用来监测矿用卡车司机是否分心和打瞌睡，现在已演变成最先进的基于神经网络的技术，用来“理解人类”，不仅能理解人类手臂的行为，还包括头部、面部和眼睛。
人们花费数百亿美元追求让技术取代人类驾驶，相比之下鲜有人关注让技术更好地理解人类，这不仅让我们驾车更安全，也能打造个性化的车内沉浸式体验。
高通只是首个完全理解未来数字座舱和数字底盘革命的科技巨头，这一趋势才刚刚开始，但将会持续数十年。苹果公司可能正关注未来iCar中应用技术的发展，而亚马逊、谷歌和其他公司也是如此。
如以上幻灯片所示，通过对各项关键能力指标(KCI)的分析表明，Seeing Machines正在向DMS市场的领先地位迈进。有趣的是，Cipia和Smart Eye却都没有在CES上发布任何合作声明。
一个围绕Seeing Machines的汽车生态系统正快速形成，其中包含豪威、安霸和高通。凭借Magna最近的1000万美元的投资、福特和大众等汽车制造商的合作设计、以及与16家一级供应商达成的合作伙伴关系(截至2021年8月)，Seeing Machines的崛起兼具推力和动力。
我们见证的不仅是一家新供应商的出现，也是一个全新技术种类的诞生。CES上所有关于“消费级AV”和“个人AV”的讨论，都表明了下一个大趋势是见到能够理解人类的机器问世。
(参考原文：Seeing Machines Might Be the Next Arm ）
本文为《电子工程专辑》2021年4月刊杂志文章，版权所有，禁止转载。点击申请免费杂志订
您可能感兴趣
