最近的视觉AI模型必须处理动态和复杂的环境,因此在实时应用中需要更高的能效和速度。
为了满足市场需求,瑞萨发布了下一代动态可重构人工智能处理器(DRP-AI)加速器。DRP-AI加速器提供10 TOPS/W的高功率效率,比传统技术高出10倍,它可以在低功耗的传统嵌入式处理器(MPU)上面运行复杂的图像AI模型,而不需要像以前一样采用高功耗的GPU来运行。
RZ/V2H的更多详细信息请访问下方链接或二维码查看:
https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/rz-mpus/rzv2h-quad-core-vision-ai-mpu-drp-ai3-accelerator-and-high-performance-real-time-processor
除了这个AI加速器外,高端RZ/V2H MPU还配备了使用动态可重构处理器(DRP)的图像处理加速器、运行频率高达1.8GHz的四核Linux处理器Arm® Cortex-A55®、双核800MHz Arm Cortex-R8高速实时处理器和I/O处理Arm Cortex-M33子内核,采用异构多处理器配置。
https://www.renesas.cn/cn/zh/key-technologies/artificial-intelligence/drp
七个基于Arm的CPU内核、下一代DRP-AI和DRP的组合,可以立即处理机械控制中的图像识别和AI判断结果,使其成为下一代自主机器人、自主移动机器人、无人机和其他应用的理想AI处理器。如果您想了解更多关于RZ/V2H MPU功能的信息,可以在本篇文章中找到更多内容。
下一代AI加速器DRP-AI
RZ/V2M、RZ/V2L和RZ/V2MA嵌入了瑞萨电子独创的DRP-AI加速器,但瑞萨已将其独创的AI加速器DRP-AI升级为下一代,以满足最近的市场需求。
为了大幅提高电源效率,DRP-AI应用了INT8量化和硬件支持,用于非结构化修剪,这是传统AI加速器难以实现的,以实现高达80 TOPS的推理性能和10 TOPS/W的电源效率。有关非结构化修剪的更多信息,请参阅“下一代高能效AI加速器(DRP-AI3):自治系统高级AI中的嵌入式处理速度提高10倍”白皮书。
https://www.renesas.cn/cn/zh/document/whp/next-generation-highly-power-efficient-ai-accelerator-drp-ai3-10x-faster-embedded-processing
下图1显示了AI推理性能与其他RZ/V产品的比较。以ResNet-50为例,典型的分类卷积神经网络(CNN)的性能比不修剪的RZ/V2L高14倍(密集模型),采用模型修剪后的RZ/V2H比RZ/V2L(密集模型)性能高45倍。
图1 RZ/V系列AI推理性能(不包括前/后处理)
通过动态可重构处理器DRP打开CV加速
甚至在深度学习出现之前,各种方法就已被用于图像识别和决策的应用中。OpenCV这个开源的计算机视觉库就是这样一个例子。即使现在有了AI图像处理,OpenCV仍然是一项非常有用的技术。Vision AI和OpenCV现在都在适当的场景一起使用。
为了加速AI和OpenCV等各种图像处理算法,RZ/V2H MPU设计了与DRP-AI分离的动态可重构处理器,为OpenCV加速器提供DRP库,充分利用其灵活性。
图2比较了具有DRP的OpenCV加速器与RZ/V2H四核CPU的性能。例如,通过使用DRP加速,用于图像边缘检测的Sobel滤波器从7.6fps提高到123fps的速度,提高了16倍。
图2 OpenCV加速器性能基准测试
AI异构配置+高速实时控制
虽然快速多核Linux处理器是图像AI的最佳选择,但它需要大量的内存资源,并且很难实现机械控制所需的亚毫秒级实时性能。
为了解决这个问题,RZ/V2H使用四核Cortex-A55来运行包括AI处理在内的Linux程序,并使用专用的高速实时处理器在需要高实时性能的应用(如电机控制)中进行RTOS处理。
通过使用OpenAMP进行处理器间不同操作系统的通信连接,DRP-AI和Linux处理器做出的决策结果可以反映在RTOS处理器的实时机械控制中。
图3 RZ/V2H框图
具有这些独特功能的RZ/V2H嵌入式AI微处理器已投入量产,RZ/V2H评估板也可用于快速启动您的下一个视觉AI开发。
您可点击文末阅读原文访问RZ/V2H产品页面,了解有关RZ/V2H MPU的更多信息,并探索我们的视觉检测单板计算机成功组合,该组合可作为系统级模块(SoM)实现开发可扩展性,或作为应用驱动的单板计算机(SBC)解决方案。
https://www.renesas.cn/cn/zh/applications/industrial/building-automation/visual-detection-single-board-computer
1
END
1
推荐阅读
新品详解 | 新一代视觉AI MPU处理器RZ/V2H 高算力、低功耗、实时性
产品简介 | RZ/V2系列MPU
OpenCV在RZ/G RZ/V芯片中的单独编译应用