三大趋势，让智能视觉成为一种普世能力

随着算力的高速提升和模型的演进，我们见证了原本专属于人类的感知、思考和行动能力逐渐向机器的转移，而每一次能力转移的拐点都将产生新的范式。比如20世纪末期，Google、百度等公司让信息的生产和获取成本从边际成本转向固定成本，开启了互联网时代的新范式。现在，OpenAI和大模型使模型产生的成本也走上了相同的道路，加速了“模型和行动无处不在”的新时代的到来，并由此重新定义了以智能视觉技术为代表的人机交互新模式。

在Arm物联网事业部业务拓展副总裁马健看来，智能视觉技术之所以在新时代变得必不可少，并在智慧家居、智慧城市、零售和智能制造领域得到广泛应用，是因为机器系统必须通过视觉理解周围环境，做出相应的决策和行动，视觉信息为自动驾驶和机器人提供了关键的安全和避障能力，这是生死攸关问题。

其次，视觉对于人机交互也是至关重要的——未来的聊天/陪伴机器人需要高智商和高情商，而机器视觉可以通过捕捉人类的表情、手势和动作，迅速理解人类的意图和情感，改善AI与人类的沟通和合作。另外，模型优化也可以借力智能视觉等感知技术，从现实生活中采集真实数据形成更准确的模型，而不仅仅是依赖于文本描述和静态图像。

智能视觉系统接下来的三大技术发展趋势同样值得关注，包括：

• 云、边、端的协同

由于视频数据巨大的数据量，以及自动驾驶等应用的实时性要求，智能视觉系统需要能够将计算和决策任务分布在云、边和终端设备上，并实现协同工作。

• AI加持

未来的智能视觉系统将继续依赖深度学习模型和神经网络，提高图像的分析和识别能力，并利用强化学习和自主自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。毕竟，准确和高质量的图像处理能力，能够更好的帮助智能视觉系统实现更高效的特征提取、目标跟踪和检测、图像分析和理解、以及图像的生成和合成。

• 算力支持

由于模型和算法日趋复杂，加之大规模图像数据处理的实时性、高精度、高并发要求，智能视觉系统对强大计算资源和算力支持的依赖程度与日俱增。同时，智能视觉系统的广泛应用也引发了对隐私和安全性的关注，采用加密、匿名化等技术手段保护用户的隐私，加强系统的安全性，防止被恶意攻击和滥用，正成为显著的趋势。

强强联手，只为中国市场

科技和应用的演进趋势也投射到了智能视觉芯片架构上。

过去几年中，智能视觉芯片架构同样经历了一系列的演进，从功能固定难以编程的DSP和ASK，到通用性强易编程的CPU架构，到现在最先进的综合CPU、ISP图像处理器、NPU AI加速器，VPU视频编解码器、GPU图形处理器的异构SoC片上系统，逐步实现了低功耗、高性能和高度集成的特点，更加适用于智能手机、摄像头、XR，机器人和物联网设备等资源受限的边缘设备，Arm携手安谋科技最新发布的智能视觉参考设计正是这一趋势的体现。

智能视觉芯片架构的演进

“全新参考设计的独特之处在于，这是Arm首次将现有子系统IP与第三方IP整合，并由安谋科技预先集成和预先验证，只面向中国市场与客户的方案。”马健说，这样做的初衷，是很多客户认为中国IPC视觉系统已经成为了红海市场，Arm希望合作伙伴能够更聚焦于自身的差异化设计，而不必去做重复性的基础IP整合与基础软件的开发工作。

Arm智能视觉参考设计包括：

• Arm Corstone™-1000：整合Cortex-A、Cortex-M处理器与内建安全性，为不同应用在受限的功耗范围内提供效率及高性能。
• Arm Corstone-300：为机器学习工作负载提供“永远在线”的低功耗子系统。
• Arm Mali™-C55图像信号处理器(ISP)：在极小的芯片面积条件下，提供可配置、高能效、高性能的图像质量。
• 来自安谋科技的第三方IP在视频和机器学习能力方面提供更多选项：

1. “玲珑”V5视频处理器：支持紧凑的、多格式(例如H.264, H.265)且高效能的视频编解码处理。
2. “周易”NPU：为广泛的机器学习用例提供高达4TOPS的性能表现，并且支持业界主流的AI规模框架，例如Tensorflow、Caffe、ONNX、Pytorch等。

“Arm智能视觉参考设计”结合Arm与安谋科技的相关IP，助力中国客户加速视觉应用设备开发

安谋科技智能物联及汽车业务线负责人赵永超表示，安谋科技目前已经完成了两代VPU产品的研发，增加了AVS2和AV1的格式，满足行业对标准的需求。除了增加格式之外，V5、V7的HEVC编码质量提升了15%，对比 V5、V7，全新一代视频处理器“玲珑”V6、V8的H.264编码质量提升了10%，已经全面达到并高于行业客户对编码质量的要求。

面对多样化的产品需求，“玲珑”VPU不断增强图像的前后处理能力，增加了按任意比例缩放优化的后处理，增加了OSD的前处理和YUV到RGB的后处理等。“玲珑” VPU软件可编程，因此，在硬件量产后仍然可以进行优化和迭代，并根据客户的需求进行升级。由于AFBC(Arm Frame Buffer Compression, Arm系统层面上的无损压缩) 的支持，“玲珑”VPU可以降低35%的带宽。

“周易”NPU是灵活可配置的人工智能加速器，已经在多家客户落地量产，涵盖汽车智能座舱、自动驾驶、智能物联网、安防监控等多个行业应用。根据客户和市场需求，“周易”NPU可配置出1-30TOPS的处理性能，在4TOPS的典型配置下，在16纳米工艺上可实现3.3平方毫米面积。“周易”NPU 可以支持多种典型的深度学习框架，如Tensorflow、Caffe、Pytorch等，可以加速客户应用的部署，目前已经针对100多种算子算法进行了优化适配，并表现出了出色性能，包括常见的CNN网络以及Transformer网络，并已经完成了对 ChatGPT大模型的适配。 

在公众十分关心的安全和隐私保护方面，马健强调称，安全是物联网的“必选项”，而不是“可选项”。当前，Arm正在认证标准、IP实践、软件赋能等多领域助力产业安全达标。

• 在认证标准方面，由Arm等公司牵头构建的PSA Certified项目对安全的信任根(RoT)的含义进行了标准化，为原本非常分散的市场带来了针对物联网安全解决方案的整合。目前，包括70款芯片在内的100余款产品均采用了这一标准，为全球物联网开发者简化了建立在RoT基础上的物联网安全开发。 

• 在IP实践方面，Arm通过包括适用于Cortex-A与Cortex-M的Arm TrustZone 等产品组合令最终客户可以放心部署从云到端的物联网应用。作为建立PSA-RoT的起点之一，TrustZone可在同一芯片内提供安全(可信)和非安全(不可信)区域，以保护敏感程序代码和数据在CPU中的硬件强制隔离。此外，它还包括了指针认证和分支目标识别，这一全新架构功能具备增强的软件攻击威胁缓解能力，有助于实现物联网部署的安全基线PSA Certified Level 2。

• 在软件赋能方面，Arm在提供硬件安全功能的同时，也为一些关键的开源软件项目做出了贡献，从而确保软件开发者能够轻松且一致地访问和集成PSA Certified规定的关键基础安全功能，这些功能也充分利用了TrustZone等类似功能。

此外，生态伙伴可借由Arm虚拟硬件(Arm Virtual Hardware, AVH)的形式获取Arm 智能视觉参考设计的虚拟模型，助力软件开发者在芯片完备前先着手开发并优化代码。该参考设计具备可信任的底层IP技术，在增强安全、可移植性与兼容性方面，已取得Arm SystemReady™ IR与PSA Certified Level 2等重要的业界标准认证。

“Arm智能视觉合作伙伴计划”已获十多家生态伙伴加入支持，协力加速中国智能视觉的创新应用

Arm还同时宣布了“Arm智能视觉合作伙伴计划”，该计划汇集软件、硬件、系统集成商伙伴，帮助设计者与开发者加速将其生产就绪的视觉应用设备推向中国市场。加入该计划的合作伙伴将与视觉应用生态厂商紧密合作，共同优化产品与开发者体验，加速推向市场。目前已有十多家来自智能物联网的芯片设计、系统集成、AI算法、开发平台等国内领先企业均已加入该项计划。