196TOPS车规级大算力，黑芝麻智能高性能自动驾驶芯片赋能智慧出行

自动驾驶发展到今天，已经进入了半商用或局部或部分商用阶段，但是离真正的商用还有很多的路要“跑”，处理能力还需要更大的提升，才能处理复杂的路况，成为真正为人类服务的自动驾驶。

在2021年11月3日由AspenCore举办的全球CEO峰会上，黑芝麻智能创始人兼CEO单记章分享了《高性能自动驾驶芯片如何赋能智慧出行》。

自动驾驶成为未来人类社会的核心生产力

经过多年的发展，特别是人工智能技术在2012年左右的突破，让智能驾驶加速发展，到今天，智能驾驶在一些封闭的场景得到了广泛的应用，比如在厂区的自动叉车、自动驾驶车辆，已经得到了很多应用。同时，在物流领域，干线物流也开始有了非常多的应用。还有很多初创公司，在RoboTaxi上做了很多尝试，取得了巨大进展。在真正的乘用车里，大家已经体验到了智能驾驶带来的好处，解决了大家的刚需问题。比如我们在路上，有一些紧急情况，可以处理一些事情，而不会产生一些交通事故，包括自动泊车，解决了大家很多的需求。当然还有非常长的路要走，芯片技术还需要增强功能，还有一些其他的技术（如车路协同）还需要进一步发展，相信有很多技术人员在做这些方面的努力来解决问题。

智能驾驶、自动驾驶真正解放了人的手、脚、大脑，可以去做一些别的事情的时候，车里面有非常多的应用亟待开发，比如显示类技术、娱乐类技术以及各种各样的应用。

以前在手机或者别的领域得不到应用的，在车里应该会得到非常好的发展，比如3D显示技术，还有AR/VR的技术，这些领域不光是驾驶和出行（有所改变），同时对大家的生活也带来非常大的变化。

未来的车不是传统意义上的车，会变成智能终端，会改变人类的生活方式。在这些改变的过程中，在技术演进的过程中，技术本身也是从传统的机械技术、燃料技术、生产制造的技术，演变到芯片的技术，演变到人工智能的技术，演变到新能源的技术。

汽车本身的电子电气架构，也发生了非常大的变化，从过去的分散式，慢慢做集中化、域控架构，慢慢过渡到更集中的方式，比如中央控制，变到中央计算的架构。从现在开始，慢慢发展的过程中，到未来无人驾驶的时代，人工智能技术、车路云结合的人工智能技术，也会需要且得到高速的发展。

汽车芯片短缺凸显芯片与处理需求

近期，很多人都关注到汽车缺芯，这是非常严重的问题。前几个月在中国市场，因为缺芯片，减少了上百万辆车的生产，引起了各个车厂的关注，以前车厂基本不会关注芯片本身，芯片都交给供应商处理。

但因为缺芯的原因，让各个车厂非常关注芯片。我们知道，一辆车里可能有几百到上千片的芯片，它的价值对汽车来讲非常重要。现在从普通汽车往智能驾驶汽车转变的过程中，芯片会越来越重要。为什么？现在智能驾驶的芯片，我们理解的，一辆驾驶的车，实际就是一个智能机器人，它有非常多的传感器，有的车可能有十几个摄像头、几个毫米波雷达，也会有很多超声波雷达、激光雷达、GPS传感器。需要有一个中央处理器，来处理解决传感器送过来的信号，而且这些信号需要协调一致地来处理，所以我们需要一个非常强大的大脑。

• 智能汽车大脑需要高性能芯片

这跟过去的车完全不一样，以前的车都是一个个分散的ECU，他们的处理能力不需要那么强。现在的汽车，需要能力非常强的一个大脑。这个大脑，要承担硬件的中枢作用，同时要承担新的电子电气架构本身改变过程中产生的新需求、新计算能力，同时承担新的软件计算能力。

智能汽车的大脑，是非常高性能的芯片。一般来讲，以前汽车的芯片比较先进是28nm工艺的，大量的是40nm的，甚至更低制程的芯片。但现在在智能驾驶的时代，智能驾驶的芯片复杂度越来越高，制程技术从28nm演变到16nm，而且正在往7nm演进，它需要有非常强大的计算能力。这些计算能力，才能支撑起它作为新的电子电器架构的中枢神经能力。

• 为什么需要这些？

以前汽车ECU的功能，基本都是比较单一的，现在的智能驾驶时代，车上有非常多的传感器，有十几个摄像头、超声波雷达，也有不少毫米波雷达，甚至有激光雷达，还有一些做定位用的传感器，甚至有车路协同，从路端传过来的感知信息。

• 算力需求呈指数级增长

这么多信息综合在一起，需要有协调的控制和处理，这需要计算能力非常强的中央处理器。

首先，处理这么多信息，我们可以认为是计算能力。2012年人工智能深度学习的突破，产生了CNN神经网络的计算能力，我们很多时候都把这个能力作为性能的重要指标。低级别的自动驾驶（如L1、L2），需要神经网络的计算能力达到10TOPS，但是到了L3、L4、L5级别的自动驾驶，他们计算能力的需求呈指数级增长。到了L4级别，可能需要500-1000TOPS的计算能力，到了L5可能需要更高，可能是超过几千TOPS的计算能力。

这是神经网络的计算能力。在这个芯片里，除了神经网络的计算能力之外，对CPU的计算能力也有非常强的需求。比如L5级别，CPU的计算能力需要超过500k，还有更多的处理能力，比如图像处理。过去智能驾驶用到的传感器，可能是100万像素、200万像素，但今天我们已经看到了，很多智能驾驶的车辆，会用到800万像素，甚至更高。我们看到，已经有公司用到1500万像素，甚至更高。这么多的图像传感器在一起，对芯片的要求非常之高。自动驾驶和智能驾驶的车辆所用的传感器，和传统的手机或者别的应用用到的图像传感器，是不太一样的，主要原因是车辆对环境的适应能力非常强，会碰到各种各样的光线条件，我们有一个高动态图像处理技术，需要模拟人眼（的能力），甚至超过人眼的能力。比如傍晚太阳横着照过来的时候，这个芯片需要处理非常亮的（像太阳光直射的）亮度。在比较暗的隧道里，也需要处理比较暗的处理能力，这两个是需要同时处理的，我们认为，“只有看得清楚，才能看得懂”，首先要把信号处理好，然后才能识别出来、理解清楚，才能给真正的驾驶、正确的决策判断提供依据。

• 电子电器架构的演变需要更高性能的处理能力

这么多处理器，而且每个处理器的数据量越来越大，推动了电子电气架构的发展。传统的电子电气架构，经过那么多年的发展，是非常合理的。

• 现在为什么发生了巨大变化？

主要原因是，这些传感器需要协同，需要协调一致，需要有中央大脑来处理它。任何一个单一的传感器或数据处理，不能完成这个任务。所以我们看到，电子电气架构的演变，从完全的分散式，到域控制器的非域控制方式，再演变到未来中央计算的方式，是有底层技术原因的。

我们做了一个比喻，把各种传感器的信息、数据比喻成汽车的血液，智能驾驶的芯片是大脑，高速流转的信息推动了电子电器架构的发展。

黑芝麻智能高性能芯片核心技术

黑芝麻智能拥有全球最领先的核心技术，拥有芯片+汽车资深复合型团队和自研核心技术等多项优势；核心团队均来自博世、OV、英伟达、安霸、微软、高通、华为、中兴等业内顶尖公司，平均拥有15+年的汽车+芯片行业经验；黑芝麻智能用了3年的时间研发和打磨两大核心IP技术：自研车规级图像处理核心ISP——NeuralIQ ISP和自研车规级低功耗神经网络加速器NPU——DynamAI NN引擎，核心技术100%为自研。自研的两大核心IP以及完善的、符合汽车安全要求的功能安全体系和通过车规级认证的可量产芯片构成企业的核心技术壁垒。

黑芝麻智能专注在智能驾驶芯片的研发领域，定位二级供应商，和传感器供应商、软件供应商、一级供应商乃至车厂一起合作，提供一个完整的自动驾驶/智能驾驶的解决方案。

除了芯片之外，黑芝麻智能会把其他所有的东西做成参考硬件、参考软件，交给车厂和一级供应商，一起做整体的解决方案。同时，也把同样的芯片用在路端，做FAD Edge解决方案，目前已经在全国不少城市安装测试了。

黑芝麻智能从一开始，就开发了几个自动驾驶重要的核心IP，包括图像处理IP、神经网络计算IP以及华山系列处理器。

• 图像处理核心IP

图像处理，要解决的是高动态。另外，车有可能会开在没有街灯的场景下，对于低照度的图像或场景，需要能够看清楚，包括在这种低照度下，噪声会非常大，我们需要把这个噪声去掉。车里的图像处理需要很多传感器，所以本身也需要非常巨大的处理能力。现在这个芯片的处理能力，可以达到每秒15亿像素。

• 颜色处理

在自动驾驶里，有时候颜色的保持是非常重要的，我们列了几种图像。

上图中，左边是黑芝麻智能（BST）处理的，右边是另外一家公司给出的图像。可以看到，我们对所有的颜色都保持得非常好。左下图是我们的处理结果，右下图是市面上大量的处理结果，可以看到黑芝麻智能做得非常好，非常清晰。

• 夜景场景处理

曾有著名自动驾驶厂家车辆发生的事故就是在夜景场景下，车旁边非常黑暗。车灯有一个特殊情况，到了一定距离，亮度急剧下降，超过这个距离，黑色物体可能看不见，事故就是因为这个原因产生的。

上图中，右边是我们处理的图像，左边是现在市场上大家用的结果，侧面和正面的物体，可以看到我们都显示得非常清楚；

• 神经网络加速IP

黑芝麻智能的神经网络加速IP，有3D加速单元，也有2D/1D/非线性加速单元，可以非常灵活地做一些现在或未来我们不知道的计算单元，这个IP会同时让这几个计算单元联系在一起，做一个大规模的神经网络计算。

黑芝麻智能还开发了非常完善的神经网络开发工具，支持现在市场上主流的训练架构。支持两种模式，一是post，训练出来的model直接就可以用工具转化成可以运行的神经网络。二是QAT，提升或减少精度的损失，用这种方式，基本不会产生精度的损失。

• 华山系列芯片

黑芝麻智能专注在车规级大算力芯片，现在主要推的是第二代的芯片，有面向L2及以下级别的驾驶芯片华山二号A1000L，也有面向L2/L3级别的华山二号A1000。

今年黑芝麻智能推出另外一个高性能芯片华山二号A1000 Pro，这是到目前为止中国性能最高的芯片，性能达到106-196TOPS。

华山二号A1000是现在国内真正能够量产的性能最好的芯片，包括功耗、利用率都超过全球TOP的公司。黑芝麻智能即将发布华山二号A2000，性能将实现进一步迭代。 

华山二号A1000通过了非常严格的AEC-Q100的车规级认证，通过了功能安全的团队、流程、产品的认证，在全球都是领先的。

除了开发工具，黑芝麻智能也提供SDK。例如会提供一些模块和生产工具，比如自检、上路的工具，完整的软件系统，来为客户方便使用神经网络系统。

在软件的基础上，黑芝麻智能提供软硬件的完整解决方案，同时打造一个开放的生态。黑芝麻智能现在与四十多家生态伙伴紧密合作，提供端到端的完整解决方案。与中国主流的Tier1合作得非常紧密，与主流车厂也有合作。包括车路协同，国内的一些城市已经在安装基于华山二号芯片做FAD Edge解决方案。

开发工具链是否完善是体现黑芝麻芯片易用性的重要指标。配合华山系列自动驾驶芯片，黑芝麻智能还发布了山海人工智能开发平台。它拥有50多种AI参考模型库转换用例，降低客户的算法开发门槛；能够实现QAT和训练后量化的综合优化，保障算法模型精度；支持动态异构多核任务分配，同时还支持客户自定义算子开发，完善的工具链开发包及应用支持，能够助力客户快速移植模型和部署落地的一体化流程。同时在商业合作上，公司同样拥有开放且庞大的自动驾驶朋友圈生态，与中国一汽、博世、上汽、东风悦享、中科创达、亚太、保隆、所托瑞安、纽劢科技、联友等在L2/3级ADAS和自动驾驶感知系统解决方案上开展了一系列商业合作。

黑芝麻智能最近有几笔耀眼的融资，黑芝麻智能创始人兼CEO单记章先生表示战略轮及C轮融资后，黑芝麻智能通过构建坚实的资本、产业和技术壁垒，将持续吸引行业顶尖人才、引领技术创新、推动产品的大规模量产落地。最新的华山二号目前已经有定点和量产项目。