亿智电子魏唯谈智能安防硬核技术之图像/视频处理和AI计算

点击报名参加

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术，我们从智能感知、图像/视频处理，以及AI计算这三个方面分别采访了多名业界技术专家。本文是亿智电子安防产品部VP魏唯就图像/视频处理、CMOS图像传感器，以及AI计算方面进行的问答访谈。

魏唯，亿智电子安防产品部VP

安防领域产品专家，十余年来持续深耕视像安防领域的产品解决方案，拥有丰富的行业经验。近6年来，专注AI在视像安防产品的落地，用AI SoC为安防视像终端赋能，尤其在基于视频的AI应用场景，有着专业的产品化经验。

AI为安防监控行业带来了哪些挑战和机遇？

据IDC Global DataSphere预测，2020全球视频监控产生的数据约18.1PB，占同期物联网数据量83.1%，构成物联网数据的主体。然而在实际应用中，出于各种人力和技术条件的限制，尤其如果单凭人眼监控，这些数据的利用效率会很低。但是，如果将AI直接部署到监控摄像机，人工智能可以对视频数据进行结构化处理和分析，提取对我们有用的信息，从而激活数据，提高安防效率。

然而，在落地的过程中，存在诸多挑战。一方面是应用场景碎片化，各行各业的AI需求不同，很难对算法进行标准化。另一方面，将AI部署到前端摄像机，需要具备端侧算力的芯片，行业内可以提供这类芯片的厂商很少。

智能安防的“智能”主要表现在哪些方面？

传统的安防是解决＂看得见＂、＂看得清＂的问题，而智能安防要解决＂看得懂＂的问题。以往靠人工方式去查看视频，现在智能安防会把＂车水马龙＂类的有用信息记录下来，而把＂风吹草动＂类的无用信息过滤掉。例如，针对在电梯里的火情识别、社区的高空抛物监控，依靠人力监控难免有疏忽或延时，但是AI＂关注车水马龙，忽略风吹草动＂的能力，可以马上识别并预警公共安全风险，提高安全管理效率。

未来3-5年，智能安防有哪些值得关注的新兴技术及应用？

我个人认为，智能化的前端IPC摄像机，在未来3-5年的时间内将替代现有的IPC，那时将不存在不具备AI功能的摄像机，这需要带端侧算力的AI SoC芯片去推动实现。

目前，搭载亿智电子AI芯片的摄像机已经可以实现人脸人形识别，越界检测与预警（如翻墙识别）、人员闯入检测与预警（如人员进入配电箱等危险区域的检测与预警）、客流识别等智能应用。已经安装了IPC摄像机的位置，都有监控需求，未来可以深挖更多的应用场景。

在技术方面，随着NPU等AI加速器技术和传感器技术的发展，以红外热成像技术的应用为例，这类不可见光同样蕴含着很多对人类有用的信息，同时也需要NPU来支持相关算法的计算处理，才能真正解决实际问题，服务人类生活。热成像设备收集到平面的温度数据，而利用算法，可以计算得到三维立体的数据。这样一来，我们不使用可见光形成的图像，仅利用处理过的数据信息，来做老人和小孩看护，既能解决用户隐私问题，又能达到更有效的监护效果。在未来，对端侧算力的需求会越来越大。

安防监控行业对CMOS图像传感器有什么特殊的技术和性能要求？

智能安防场景下，摄像机对CMOS的宽动态和低照度有更高的要求，以做人脸识别为例，无论是逆光场景还是低光照场景下，都要求CMOS能够输出清晰的图像给到NPU（神经网络处理单元），NPU才能进行相应的运算。因此，现在的AI芯片都要求具备宽动态技术的CMOS，而传统的并无这一需求。

“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求？

图像处理器和视频处理器芯片要实现“数据就地处理”，需要各模块之间的协同运行，有效数据首先要经过ISP，ISP能获得清晰的图像数据，再给NPU对数据进行实时性的计算。端侧算力1.5T 可以满足同时运行3-5种算法的需求，例如同时进行人脸检测、识别、跟踪。要在端侧部署AI算力，在性能上需要SoC有很强的集成能力，集成包括ISP、NPU、视频编解码等模块。

亿智SV826 / SV823是高性能的安防芯片，主要面向视频编解码摄像机产品。其性能如下：

• SV826 / SV823采用智能H.265+编码技术，支持最高4K超高清视频录像；
• 集成专业安防级别的ISP，支持2~3帧宽动态融合和自适应降噪，在逆光和低照度环境下表现出色；
• 搭载亿智第二代自研NPU，提供1.5T/0.8T智能算力，可高效支持人脸识别/检测、人形识别、车牌识别、车型识别、视频结构化，以及智能行为分析等智能应用场景。

这些芯片主要面向前端智能IPC相机，可结合多种第三方算法应用，“机非人”检测识别、高空抛物、电动车识别、安全帽/头盔识别等物体识别类算法，助力智能安防应用落地。

人工智能视觉芯片（Vision Chip）相比传统图像/视频处理器芯片有什么优势？

相较传统，AI 视觉SoC芯片集成了NPU（神经网络处理器），是SoC中的AI计算单元。由于是专门为AI加速而设计的处理单元，在计算的速度和准确率都会有大幅的提升。

边缘AI芯片如何与软件和算法结合以满足特定安防应用场景的需求？

为了适配不同的算法和硬件，亿智电子从芯片原厂的角度出发，考虑多种策略去支持下游合作伙伴的应用，例如面向特定场景，我们的合作伙伴可能要在同一台设备上同时实现不同厂家的算法，这就需要我们在设计芯片的时候提前考虑，从底层技术上去做适配。

哪些数据可以在边缘端本地处理？哪些数据需要传输到服务器或云端进行集中处理和计算？

以人脸识别为例，人脸检测和抓拍是在本地通过设备端实时进行的；对抓拍到的人脸进行识别的工作，可能涉及十万级或以上的数据库的比对，则可交给云端，通过更大的算力去快速完成运算。

芯片和加速卡在智能安防领域的商用落地现状如何？未来发展趋势又是怎样的？

以IPC（网络摄像机）设备来说，目前AI IPC只有不到1%的市场渗透率，我相信3-5年内会趋于100%的渗透率，对传统不具备AI功能的摄像机实现全面替代。

责编：Steve