本文来源:物联传媒
本文作者:露西
智能时代的一大特点,是过去需要凭人的意识和指挥产生的动作,在必要时可以由机器完成,并因此诞生规模可观的创新应用。智能视觉,就是新时代创新应用的一大典型。
而在这些需求背后,对智能视觉技术及其系统提出的要求包括:
1)云、边、端能力的协同,方便快速、高效、低延时处理海量视频数据;
2)AI技术的赋能加持,用以提高图像的分析和识别能力;
3)提升算力水平,用以应对高精度、高并发的大规模图像数据;
4)隐私和安全防护能力,用以抵御恶意攻击和信息盗用。
站在Arm的角度,作为全球领先的半导体IP供应商,目前在智能摄像头市场拥有9成以上的市场份额,同样接收着来自不同客户新的需求反馈,包括对边缘计算、产品设计差异化等方面。
基于此,近日Arm正式宣布推出针对视觉应用设备的Arm智能视觉参考设计。
全新参考设计选用Arm广泛应用于智能视觉领域的处理器和系统IP,并首次将Arm现有子系统IP与安谋科技IP整合,一改过去仅提供生产原材料(即处理器和系统IP)的方式,进一步向行业客户提供预先经过集成和验证的子系统,最终促成缩短研发周期,使开发者专注于产品的差异化。
Arm 物联网事业部业务拓展副总裁马健表示:“中国视觉市场在世界上拥有领先地位及较高的创新活跃度,Arm智能视觉参考设计将服务于中国市场。”
关于Arm智能视觉参考设计的核心内容
本次Arm智能视觉参考设计包括CPU、ISP、NPU和VPU处理器选项以及将这些元件粘合在一起的子系统IP,具体内容包括:
Arm Corstone-1000:首先,Corstone是一套预先经过集成并验证的子系统,是Arm物联网解决方案的根基,旨在加速芯片产品流片和量产,使设计者可以专注于增强自己的差异化。而Corstone-1000是首款为Cortex-A设计的子系统,该方案基本配置是经过量产考验的Cortex-A35或Cortex-A53,并取得了Arm SystemReady IR 认证,确保Linux等操作系统的开机即用,并简化软件开发。
Arm Corstone-300:作为低功耗待机子系统,旨在降低边缘设备的功耗,提高系统效率。
Arm Mali-C55 图像信号处理器 (ISP):是Arm至今为止面积最小、功耗最低、且可配置最高的ISP产品,负责提供升级的图像质量功能,且拥有全方面的软件工具支持。
来自安谋科技的第三方IP,包括“玲珑”VPU和“周易”NPU。“玲珑”VPU支持紧凑的、多格式且高效能的视频编解码处理,提供灵活的组合和选择;“周易”NPU同样灵活可配置,根据需求可配置出1-30 TOPS 的处理性能,且可以支持多种典型的深度学习框架,如Tensorflow、Caffe、Pytorch等,加速客户应用的部署。
基于Arm视觉参考设计,开发者不再需要从0开始工作,而是可以专注产品的差异化,使用工具快速将想法转化为产品推向市场,显著降低芯片开发的成本和风险,并缩短研发周期。另外,该参考设计具备可信任的底层IP技术,在增强安全、可移植性与兼容性方面,已取得 Arm SystemReady IR 与 PSA Certified Level 2 等重要的业界标准认证。
目前,智能视觉参考设计的目标受众,包括了边缘AI领域的初创公司、跨界创新公司或是希望进行垂直整合的系统公司等。
Arm正式推出智能视觉合作伙伴计划
在本次发布中,“Arm智能视觉合作伙伴计划”得到正式公开。Arm将携手AI视觉、芯片设计、软件、算法、系统集成等伙伴共同打造基于Arm架构智能视觉应用的强大生态,以进一步加速视觉硬件、软件和系统的开发。
目前,已有十多家来自智能物联网不同领域的国内领先企业加入该计划。
其中百度飞桨已经实现了基于飞桨的视觉模型库和 Arm 虚拟硬件的整合适配;诚迈科技作为软件设计合作伙伴加盟,更在日前成为中国第一个Arm批准的ISP调优伙伴;另外厦门星宸科技在月初通过了PSA安全认证,展示了智能视觉界领军者对安全和隐私保护重视程度的提高。
总的来说,因为大多数公司并不拥有涵盖所有芯片架构前端、后端设计的庞大团队,他们的研发工作需要借力芯片设计公司。那么通过这项生态计划,Arm希望推动生态伙伴们熟悉Arm的参考设计,并在参考设计的基础上快速流片,最终帮助他们的客户推出满意的芯片。在这个过程中,Arm的关键作用是形成预先集成、预先验证的标准化子系统,生态伙伴在它的基础上设计出更多创新的应用。
Arm物联网全面解决方案,扩充进行时
2021年,Arm首次发布物联网全面解决方案,核心主要由三部分构成:
面向硬件设计的Arm Corstone:在前文中已有叙述,是一套预先集成且经过验证的子系统,专为特定用例而设计。对于芯片伙伴而言,Arm Corstone极大地加快了芯片流片和量产进程。
赋能软件开发的Arm虚拟硬件设计库:Arm虚拟硬件创建了Corstone芯片参考设计的虚拟拷贝,并通过云服务的方式普及给开发者们。它支持基于云的现代开发,无需设置和维护硬件集群,Arm 虚拟硬件可以轻松扩展到数千个设备,并且由于Arm虚拟硬件与底层IP和Corstone设计同时可用,开发者和OEM厂商可以远在芯片可用前就开始工作,这将大幅节省设计时间和成本。
可实现更简单的软件复用的Project Centauri生态系统计划:Project Centauri扩展了物联网软件的创新,通过已定义的标准、安全框架以及RTOS复杂度的抽象化,重点实现软件重复使用,支持开发者在更多设备上分摊投入,降低成本。
在拥有不断增多的用户案例的基础上,为了满足日益变化的物联网客户需求,Arm持续对以上物联网全面解决方案进行扩充,逐步在安全、云原生、边缘计算、语音识别,以及包括本次的智能视觉方面开发新的产品或功能。未来,Arm物联网全面解决方案也将为行业带来持续性改变。
IOTE 2023 第二十届国际物联网展·深圳站将于2023年9月20-22日在深圳国际会展中心(宝安)震撼来袭,覆盖IoT产业链全栈领域玩家,齐聚行业领袖与种子选手,今日三大展厅,围绕RFID、传感器、工业物联网、云平台、通信、人工智能、电子纸、泛安防等打造行业秀场。现识别下方二维码或点击阅读原文立即报名观展!
报名成为VIP观众观展
~END~