监控摄像头和计算机视觉（CV）处理

成像系统的复杂程度不断让人感到惊讶。现在的情况远不像以前那样简单，我们不能简单地将摄像头直接连接到人工智能（AI）系统上进行分析，现在，图像（可能来自多个摄像头）在进入AI处理之前，需要经过一系列计算机视觉（CV）的转换和处理。这种需求在监控摄像头的应用中尤其明显。

图 1：农业中的无人机技术（来源Ceva） 

监控摄像头需求

监控摄像头的应用越来越广泛，不仅在安全方面，还在成本管理上。一个显而易见的应用场景就是居家安全。保护各类商店避免被最近流行的快速抢劫行为影响越来越重要，监控摄像头的应用不仅有助于商店的安全，也能减少我们消费者的损失和麻烦。此外，安装了多光谱摄像头（例如融合了彩色和红外视觉的摄像头）的无人机，凭借其广泛的机动性，可以探测到早期的野火迹象，并及时通知消防队员扑灭火点，防止火势蔓延。同样，配备摄像头的无人机可以对农作物进行巡视，监测灌溉、施肥和害虫管理。

所有这些应用都需要高质量且紧凑的视觉解决方案，通常需要多个摄像头配合使用，并且要在有限的电力预算下运行。在人工智能（AI）完全接管之前，重要的计算机视觉（CV）处理功能必须对摄像头图像和视频进行预处理，以满足最新的监控成像质量要求，而这些处理工作是中央处理器（CPU）或神经网络处理单元（NPU）无法高效完成的。

一个有趣但充满技术挑战的机遇

监控摄像头市场已经非常成熟，并且还在增长。全球已有超过10亿个监控摄像头在使用，其中100百万家庭使用智能家居监控摄像头。而且，预计2022年至2029年期间，全球监控摄像头市场将以16.8%的年增长率持续增长。这种增长很大程度上归功于这些系统技术的不断提升，尤其是在远程监控的智能设备中。

“智能”就是指人工智能（AI）的部分，但在进入AI之前，这些系统必须能够生成统一且清晰正确的场景视图，以便AI能够进行分析。这是什么意思呢？一些摄像头使用鱼眼镜头，能够360度全景监控，但图像会很扭曲。其他摄像头使用多个镜头来生成360度视图或广角视图。但这些图像必须无缝拼接成一个完整的视图。您可能在一些新款汽车中见过类似技术，它们生成的全景图像看起来像是从车顶拍摄的，但实际上是由前视、后视和侧视摄像头拼接而成的。

另一个重要要求是支持数字化的平移、俯仰和缩放（PTZ）。在高级交通监控摄像头中，支持PTZ功能并不难，但是在价格较低的消费者级别监控摄像头或无人机的预算范围内，这种功能并不是理所当然的。然而，我们在这些应用中同样需要，甚至更为需要PTZ功能，以便放大可能可疑的区域或查看其他潜在问题。

这些功能需要额外的计算机视觉处理步骤，这些步骤既不适合前端摄像头图像处理，也不适合后端AI处理。为了实现高质量的实时监控成像，确保准确检测并减少误报，这些步骤需要数字信号处理器（DSP）级别的准确性和处理能力。

图 2：在移动设备上进行图像去畸变处理（来源：Ceva）

Ceva-SensPro2 CV DSP

以上面提到的鱼眼镜头的图像校正为例，这种校正通常需要对整个图像区域进行三角函数变换，而这种任务超出了此类监控成像系统普通中央处理器（CPU）的能力范围。这是一个典型的计算机视觉（CV）问题，需要大量的并行处理，还需要对非线性函数（如三角函数或双曲三角函数）的支持。 Ceva-SensPro2 DSP系列在一款嵌入式视觉处理器（DSP）中提供了这种支持，支持从128到1024个INT8 MAC（也可以配置为INT16和浮点运算）。它由六个高度可配置的核心组成，能够提供显著的并行处理能力，适合多摄像头应用。它甚至能够满足前端AI的需求，最高可达几个TOP，例如基本的物体检测，减少后续AI引擎的负担。

Ceva- SensPro2得到了非常丰富的应用库的支持，这些库涵盖了计算机视觉（CV）中的多种处理方法、用于导航的SLAM（如无人机和机器人）以及传统的神经网络AI方法。这些库不仅仅是数学扩展。例如，在计算机视觉方面的支持当然包括滤波和颜色转换等基本操作，同时也直接支持通过多种标准算法进行特征检测和图像畸变校正。对于平移、俯仰和缩放（PTZ）操作，库中提供了图像变换功能以及数学和向量处理功能。在AI网络库的支持中，包括张量操作、卷积、池化、激活和递归等功能。所有这些都在一个开放源代码框架上运行，可以移植到SensPro2上。

您是否真的需要添加另一个核心来支持您的处理流程？

这是一个值得明确回答的问题。从概念上讲，像去畸变、图像拼接等功能在专用的计算机视觉引擎上运行会比在通用CPU上更快。而且，客户的实际采用情况也能说明问题。台湾上市公司Novatek宣布在其NT98530芯片中内置SensPro2，以支持监控应用。他们使用SensPro2进行360度去畸变、4Mx4M摄像头拼接、视频稳定、AI场景检测以指导ISP自动调整、RGB与红外传感器融合以及立体深度支持。所有这些都是为了实现每秒60帧的4K成像。Novatek非常依赖SensPro2及其SDK。

还有其他未公开的客户。显然，他们都认为，处理这个任务所需的整个流程非常复杂，因此需要在处理过程中使用高性能的计算机视觉技术。从Novatek的需求范围可以看出这一点。

如果您有类似的需求，欢迎联系我们或访问我们的产品页面。