RZ/V2L配备Cortex®-A55(1.2 GHz)CPU和内置AI加速器“DRP-AI”,以提供更好的机器视觉处理性能,这是瑞萨电子的独创技术。“DRP-AI”由DRP和AI-MAC组成。它还配备一个16位的DDR3L/DDR4接口,具备内置Arm Mali-G31的3D图形引擎和视频编解码器(H.264)。
DRP-AI的卓越功率效率使其无需采取散热措施(如散热器或冷却风扇)。人工智能不仅可以在消费类电子产品和工业设备中经济高效实施,还可以在零售点(POS)终端等广泛的应用中实施。此外,DRP-AI还提供实时人工智能推理和图像处理功能,具有支持摄像头所必需的功能,如颜色校正和降噪。这使得客户无需外部图像信号处理器(ISP),即可实施基于人工智能的视觉应用。
RZ/V2L还与RZ/G2L封装和引脚兼容。这使得RZ/G2L用户可轻松升级至RZ/V2L,以获得额外的人工智能功能,而无需修改系统配置,从而保持低迁移成本。
https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/rz-mpus/rzv2l-general-purpose-microprocessor-equipped-renesas-original-ai-accelerator-drp-ai-12ghz-dual-core-arm
今天为大家介绍RZ/V2L的ISP功能实现方式。
RZ/V2L支持摄像头接口(MIPI-CSI或Parallel-IF),从功能框图来看并没有集成单独的ISP模块,但内部CRU/DRP/ISU模块可以担任此角色,填补部分ISP功能或减轻CPU负载,提升完善应用场景。
CRU(Camera Data Receiving Unit)用于接收相机数据的单元,由MIPI CSI-2和Image Processing组成。
MIPI CSI-2模块可以接收符合MIPI CSI-2标准的信号,从各种数据包中提取视频数据,并在后续阶段发送给图像处理模块。
Image Processing可以接收来自外部数字并行接口或MIPI CSI-2模块的视频数据,并对每个模块进行相应的图像处理。图像处理后的数据暂时存储在FIFO中,并传输到外部存储器。
CRU与图像处理相关的硬件功能主要用于去马赛克、统计和线性矩阵处理,并扩充到色彩校正、3A等功能,详见:
https://github.com/renesas-rz/rz_cru_sample_code
另外可以通过内部DRP(dynamically reconfigurable processor)模块实现Simple-ISP,达到硬件ISP的功能。
Simple ISP通过色矩阵校正和3D噪声消除,输出具有高色彩还原性的图像。
Simple ISP功能通过V4L2软件调用,支持功能如下:
软件集成、示例应用效果评估、ISP Tool详情参考如下链接:
https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/rzv2l-isp-support-package
https://www.renesas.cn/cn/zh/video/rzv2l-simple-isp-function
https://www.renesas.cn/cn/zh/video/simple-isp-color-correction
最后再结合ISU(Image Scaling Unit)模块,读取存储在外部DRAM中的图像,实现缩放、彩色格式转换和裁剪图像。
综上,CRU、ISP、ISU可以自由搭配使用,充分利用硬件资源,探索更多功能和场景。
如需了解更详细的使用方法请参考如下网站:
https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/rz-mpus/rzg2l-getting-started
https://jira-gasg.renesas.eu/confluence/display/REN/Renesas+Wiki
https://renesas-rz.github.io/rzv_ai_sdk/latest/
如您在使用瑞萨MCU/MPU产品中有任何问题,可识别下方二维码或复制网址到浏览器中打开,进入瑞萨技术论坛寻找答案或获取在线技术支持。
https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/
1
END
1
推荐阅读
AI预训练库 | 基于RZ/V2L的植物叶片病害分类应用
AI预训练库 | 基于RZ/V2L的鱼类识别应用
基于瑞萨RZ/V2L MPU AI解决方案