爱芯元智刘建伟：以感知+计算，专注端侧边缘侧AI芯片

“爱芯元智愿意做物理世界和数字世界之间的桥梁，且基于芯算应用的协同设计，以低成本提供数倍的有效算力，让爱芯元智的端侧边缘侧AI芯片具有高能效比，在成本功耗可控的情况下，满足更多的AI应用。”爱芯元智半导体（上海）有限公司（以下简称：爱芯元智）联合创始人、副总裁刘建伟在在Aspencore主办的IIC 2022（国际集成电路展览会暨研讨会）重要论坛活动——2022中国IC领袖峰会上以“感知+计算，端侧边缘侧AI芯片创造智慧未来”为主题，详细介绍了爱芯元智在端侧边缘侧AI芯片上感知与计算能力以及相关应用场景。

专注端侧边缘侧AI芯片

刘建伟介绍，爱芯元智成立于2019年5月，成立之初就定位于构建人工智能感知与计算基础算力平台，成为边缘侧人工智能芯片领先企业。爱芯元智专注于高性能、低功耗的人工智能视觉处理器芯片研发，并自主开发面向推理加速的神经网络处理器，集强大算力与超低功耗于一体，通过神经网络提升画质，支持物体检测、人脸识别等多种AI视觉任务。

“当前，人工智能快速发展，整体市场规模也越来越大，但从趋势上来看，端侧和边缘侧增长以及所占比将会越来越大，并且AI也越来越多在端侧边缘侧应用场景中落地。” 刘建伟表示，这也是爱芯元智重点布局端侧边缘侧AI芯片的重要原因。

刘建伟认为，从客厅到城市，AI正重构我们的生活，“可以说，AI已经无处不在，已深入到我们当前生活中各个方面，包括智能穿戴、智能机器人、智慧城市，智能驾驶、智能制造等。”

目前，AI能力逐渐在端侧和边缘侧得到释放，端侧的算法种类越来越多，其算法复杂程度也不断增大，最终导致对端侧算力的需求日益增大。刘建伟表示，端侧边缘侧AI的应用很多，主要包括多光谱多传感器的感知融合、多形态智能感知、多场景交互感知、低光全彩、结构化识别、多算法融合等，比如日光和红外的融合，可以应用于低光全彩的图象处理；日光、毫米波雷达、激光雷达的融合可以用在智能驾驶。

刘建伟介绍，除了感知之外，智能算法也会有越来越多的算法需求，例如人体的识别、车辆的识别、车牌的识别、行为的识别。这些都需要强大的算力作为支撑，都对端侧边缘侧AI芯片提出了感知和计算的要求。

“两大基础技术、三个赛道”

目前，爱芯元智把感知和计算作为端侧边缘侧AI芯片的两大核心技术。其中，在感知方面，爱芯元智自研了AI ISP技术，从某种程度上拓展了ISP行业天花板，能够让我们在低光的情况下获取优异的图像质量。在计算方面，爱芯元智则设计了业内领先的混合精度的NPU，可以在端侧边缘侧成本受限的情况下，提供充沛的有效算力，支持更多的智能算法。

刘建伟表示，基于感知和计算的两大核心技术，爱芯元智重点选择了智慧城市、智能汽车、AR/VR三个赛道，作为其产品落地的主要方向。因为这些应用方向对感知和计算都有很高的要求，比较契合爱芯元智的两大基础技术。他认为，与服务器侧AI芯片不同，端侧边缘侧的AI芯片天生就与应用有一定的弱耦合绑定关系，可以提高相关场景的应用效率。

“爱芯元智提供的不仅仅是端侧边缘侧的AI芯片，而是一个完整的解决方案。” 刘建伟介绍，爱芯元智在芯片设计开发时，会从应用、算法、芯片协同设计入手，通过对芯片增加一些特殊的硬件设计，例如特殊的算子支持或者硬件机制的支持，能够和算法产生紧密的协同效应，以及对应用能够带来整体的提升效果。

产品落地、商业闭环

刘建伟也对感知与计算两大核心技术做详细分享。“整个pipeline非常长，从DPC、BLC，一直到降噪、CSC等，AI ISP并不是要去把ISP的整体Pipeline替换掉，而是针对传统的某些功能进行增强，例如对HDR、3DNR部分做一些增强。”他介绍，在感知方面，AI ISP的HDR和NR功能可以让我们在夜间的视频还原出更好的色彩。

在提供算力方面，爱芯元智自研混合精度的NPU，其为异构多核的系统。除了专注于网络本身加速的CONV计算核外，爱芯元智还有丰富的CV算子，而这些CV算子是在Vector Core上进行实现的，同时也会有SDMA等用于数据的搬运。

为了降低NPU系统对RPU占用，爱芯元智设计多核硬件同步机制，这样整个应用的Pipeline绝大部分可以跑在NPU上，不对GPU占用，从而长整个应用跑的更快。

当然，除了CV算子之外，爱芯元智也可以对Pipeline中前后级处理所需要的特殊算子进行一些开发设计。刘建伟表示，“整个计算是由算力平台提供，但最终还是需要跑用户的各种算法。”

那么，如何让客户的AI算法更容易部署呢？刘建伟介绍，爱芯元智提供了对应的解决方案——Neutron部署，可以支持多种框架生成的AI算法，也可以广泛接受来自于不同的算法厂商的算法，通过离线编译优化的工具进行编译，也可以利用爱芯元智提供的分析工具对性能进行分析，从而对算法进行快速的迭代，最终部署到爱芯元智的芯片上。同时，为了客户方便、快速掌握这个部署流程，爱芯元智还有对应的开源项目，可以从开源项目里快速掌握部署流程，加速产品的落地。

在具体芯片产品上，刘建伟介绍，AX620A是爱芯元智在智慧城市等应用中的主流产品，其为四核、32bit、H.264/265编码VPU，具有快速唤醒特性、低功耗、低待机的特点。

AX170A是爱芯元智在影像方面专用的人工智能芯片，目前已经在客户的旗舰机里面落地。通过AX170A超级夜景开关对比，可以明显看到该芯片对夜景画质的提升作用。

目前爱芯元智的端侧边缘侧AI芯片已经在算力卡、相机、智能盒子、车载后装产品、手机产品上进行了落地，形成了商业闭环。