从Arm Mali-C55三大特性读懂智能视觉未来趋势

Arm物联网兼嵌入式事业部业务拓展副总裁马健在接受《电子工程专辑》采访时表示，从支持高清商务视频会议、安防/智能监控、智慧城市到电池供电的可视门铃和智能猫眼，智能摄像头市场潜力巨大。她援引Strategy Analytics的数据称，商用和消费类智能摄像头市场规模有望从2021年的250亿美元增长至2025年的450亿美元，年复合增长率达到13%。

挑战图像质量的上限

在上一代Mali-C52 ISP基础之上，Mali-C55仅用前几代产品近一半的芯片面积，就实现了高达1.2Gpix/sec的吞吐量，并具备八个独立输入的多摄像头功能，可支持8K图像分辨率和4800万像素的最大图像尺寸。

同时，Mali-C55还改进了色调映射和空间降噪，增强了对高动态范围(HDR)传感器的支持，以及与机器学习(ML)加速器的无缝集成。如此一来，ISP的输出将被直接发送至ML加速器中，便于利用神经网络实现各种去噪技术。当然，也减少了从设备发送到云端的数据量，可在不影响推理能力的情况下，降低成本，缩短处理时间。

众所周知，可配置性是服务多样化市场的关键，对成像技术来说更是如此。举例而言，低成本的家用摄像头系统可能仅需一组简单且有限的功能，而商用摄像头则需要高分辨率、降噪、更强的安全性等更为复杂的功能，芯片设计和OEM厂商需要能够根据其应用需求自行添加或删除功能的弹性。

因此，在Mali-C55的设计过程中，Arm将其打造成为了可配置性最高的ISP——除了多摄像头支持和与ML加速器集成之外，Mali-C55还配备了行业标准的AXI和AHB接口，以便与基于Cortex-A或Cortex-M的SoC轻松进行集成。

之所以选择这样的“模块化设计”理念，马健解释说，一般的ISP系统采用流水线式处理结构，从传感器中得到原始数据会经过一系列的处理，包括时间降噪、空间降噪、色调映射等。此前ISP在设计上的流水线比较固定，客户很难去配置或去掉某个步骤，而Mali-C55可以通过启用或禁用各种功能块来实现灵活配置，以满足对吞吐量和延迟等级要求不同的计算机视觉应用中。另一个显著优势是在图像处理的流水线过程中，可以加入ML加速、调用NPU功能，并运用大数据对数据进行分析来增强ISP的功能，比如前文提及的降噪效果。

Arm同时也为开发者提供可用于控制ISP的完整软件包以及一整套调整和校准工具，以帮助合作伙伴为其应用实现所需的图像质量。此外，在Arm最新的物联网全面解决方案(Arm Total Solutions for IoT)未来产品路线图中所包含的视觉全面解决方案也将集成Mali-C55。

马健指出，多个市场将从Mali-C55所具备的先进技术中受益。

以半导体制造为例，这是一套包括清洁、薄膜沉淀、蚀刻、曝光、注入、抗蚀剂涂层、杂质注入和热处理在内的一系列复杂流程，当部署基于深度学习算法的视觉检测系统后，可以在每个工艺节点完成后通过优质产品图像进行训练，继而让系统学会缺陷识别。这种情况下，良好的图像处理设备就至关重要，否则很难识别极其微小的缺陷。

而在其它领域，在Mali-C55的加持下，监控和安防摄像头将可准确识别以时速高达120.7公里行驶的汽车的车牌信息；家用摄像头和安防系统将可采集更高分辨率的室内外图像；而智能家居中心则可有效添加安全视觉解锁等高级功能。

“其实，不光是视觉市场，每个高速发展的市场都会经过一段百花齐放的阶段，随着市场渐趋成熟，会变得愈发整合。”马健认为，当前智能视觉市场的差异化竞争，主要来自于不同的算法和针对不同使用场景进行的优化，这也是Arm 推出物联网全面解决方案 的初衷所在——给芯片和系统合作伙伴提供没有差异的子系统，他们可以更聚焦差异化领域的创新，比如一些比较特殊的算法适配，或是针对一些特殊用例做出优化，共同将整个智能视觉系统更快地推向市场。

在谈及智能摄像头这样的边缘计算市场是否有希望率先使用基于Armv9架构的产品时，马健回应称, 今后在低端市场中，可能还会沿用原有架构的CPU产品，但专用处理器IP(例如NPU和ISP)会被逐渐推到边缘侧，一些低能耗的应用里也会开始使用专用处理器大幅提升算力；而在高端、对性能要求极高的领域，包括图像处理，Armv9已经开始应用于比较先进的客户和高性能用例中，Arm方面会及时分享相关案例。

她同时指出，摄像头在智能化、分辨率、帧率等方面的要求越来越高，Arm注意到了这一趋势。未来，智能摄像头除了包含基本的CPU之外，更多地使用ISP和ML加速器将成为常态，NPU、通用型GPU、ISP等IP会逐渐地在现有或下一代芯片中得到应用，用于从图像中提取更多有用的信息。所以，对于实现高效的系统设计而言，拥有可针对此类活动所需要的数据类型和处理进行匹配的ISP是非常重要的。