今天给大家介绍瑞萨合作伙伴逐飞科技开发的一款基于RA8系列微处理器的RA8D1为主控的一台智能语音小车，该小车搭载多种传感器模块，能够实现精确的姿态控制、姿态调整、无线图像传输与显示、语音识别和自动抓取等功能。
语音麦轮小车方案
1
小车硬件框架
硬件部分主要以瑞萨RA8D1 MCU为核心，围绕其设计的核心板和扩展板拥有丰富的外设接口和扩展能力。主板通过外部的3S锂电池进行供电，通过高效的LDO为系统提供6V、5V和3.3V等多级电压输出，以满足不同模块的特定供电要求。为简化各个模块的连接，主板的接口按照模块的接口形式进行划分，并确保所有模块的控制线路与核心板已分配引脚进行连接。
2
小车任务概括
小车任务是围绕智能语音交互完成抓取任务，且设计有人机交互，通过屏幕实现信息的输入输出、并且监控车模的姿态、状态以及实时显示由车载摄像头捕获的图像。小车系统内部自动完成的姿态闭环控制，能对车模进行精准的操作。支持局域网内无线图传以及通过语音命令控制车模。在发现目标物体后，通过对小车和机械臂的控制，自动实现对空间物体的定位和抓取。
3
小车主要硬件介绍
瑞萨电子RA8D1 MCU系列是业界首款基于Arm® Cortex®-M85（CM85）内核的32位图形微控制器（MCU），能够在480 MHz频率下实现超过3000 CoreMark分数的突破性性能，可支持高分辨率显示和视觉AI应用的卓越图形功能。此系列属于通用型MCU器件，适用于工业自动化、家用电器、智能家居、消费品、楼宇/家居自动化和医疗/保健细分市场中的各种高性能和计算密集型应用场景。
RA8D1 MCU集成了高性能CM85内核和大内存，以及丰富的外设集，包括带并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D绘图引擎、16位摄像头接口和多个外部内存接口，经过优化可满足各种图形和视觉AI应用的需求。此类MCU采用176引脚和224引脚封装。
https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/ra-cortex-m-mcus/ra8d1-480-mhz-arm-cortex-m85-based-graphics-microcontroller-helium-and-trustzone
核心板基于RA8芯片进行设计制作，核心板包含晶振、复位、SDRAM、FLASH、BOOT电路，引出了的下载调试接口、TF卡接口、SD卡接口，其他引脚作为连接主板引出。RA8芯片支持外接高达32M的SDRAM作为内存拓展，核心板布局如下图所示：
扩展板则基于RA8核心板制作，根据已分配的外设引脚，留出相应的接口，方便后续连接外设模块。扩展板的布局如下图所示：
RA8芯片带有LCD的MIPI接口，MIPI协议采用了高速差分信号传输技术，可以减少信号干扰和噪声。使用的资源上，MIPI接口的引脚比SPI屏幕更少，通信速度也比常规的SPI或者并口通信快很多，所以方案中选用MIPI接口的3.1寸的IPS屏幕，像素大小为800*480。经过测试，纯刷屏速度能达到50fps+。结合触摸面板，便可以做到非常好的交互体验。
麦轮小车有4个电机，在小车上采用两块DRV8701E双H桥电机驱动模块来驱动车模的四个轮子，实现了对每个轮子的独立电机控制，在方案中使用RA8的General PWM Timer（GPT）外设作为PWM输出控制，对每一路的PWM输出精确控制。
选用了OV2640彩色摄像头，它支持直接输出JPEG格式的图像数据。这一特性极大地简化了图像处理流程，RA8的16位摄像头接口CEU，不管是摄像头的RGB数据还是JPEG数据，都能通过CEU外设进行采集。通过CEU，最大可以采集2560*1920分辨率的图像。
4
小车主要软件介绍
RA8配套的支持包中就包含了多个系统的支持，在工程创建的过程中选择需要使用的系统，后续便自动将对应的系统文件添加到工程中。方案中选择了FreeRTOS系统作为整体任务的分配以及管理，任务如下图所示：
该方案为了实现更为直观和用户友好的操作体验，利用了图形用户界面（GUI）组件来展示摄像头捕获的实时图像以及关键参数。通过GUI的设计，不仅能够确保图像的清晰显示，还能够对界面布局和参数展示进行优化，从而提升视觉效果和用户交互的便捷性。
在GUI的设计上，选择了LVGL作为框架，并利用GUI-Guider软件进行初步设计。通过这个软件，能够快速搭建出所需的界面布局，随后将生成的源代码集成到项目中，随后为界面元素添加了参数设置和按键操作的回调函数来实现完整的交互功能。
语音命令包括“前进”、“后退”、“左移”、“右移”、“左转”、“右转”、“停止”、“抓取”。在上位机中点击录音，然后对着麦克风口述上述命令之一，上位机会通过WIFI下方音频数据。单片机接收到音频数据后，在本地完成语音识别的算法，并根据命令来控制车模运动。
本方案通过电脑采集音频数据，进行幅值归一化处理后，通过WIFI发送到车模单片机。通过RA8单片机使用WIFI-UART模块和DMA接收数据，并通过运行在RA8上的语音识别算法进行处理。语音识别算法采用将音频信号转换为语谱图，再利用卷积神经网络（CNN）模型进行识别的方法。模型训练后，提取网络结构和权重参数，RA8单片机根据模型输出的向量确定命令，然后将识别结果显示在屏幕上，最后由控制线程完成小车的控制和机械臂抓取控制。
5
总结
以上便是此次基于瑞萨RA8的麦轮语音小车方案的技术分享，本项目使用了Arm® Cortex®-M85内核的RA8D1作为主控芯片，制作了一辆集成了多种功能的语音麦轮小车。
方案利用RA8芯片的强大性能和丰富外设接口，实现了一个语音命令的闭环控制系统，通过陀螺仪和编码器数据进行实时计算和调整，确保了车模的精确控制。通过RA8独有的CEU外设和芯片的高性能实现图像的实时获取、传输以及解压显示。此外，方案还采用了基于梅尔倒谱系数（MFCC）算法和卷积神经网络（CNN）模型的语音识别技术，实现了对语音命令的快速识别和响应，使得小车能够根据语音指令进行相应的动作，展示了RA8 MCU在智能设备领域的强大应用潜力。
如您在使用瑞萨MCU/MPU产品中有任何问题，可识别下方二维码或复制网址到浏览器中打开，进入瑞萨技术论坛寻找答案或获取在线技术支持。
https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/
1
END
1
推荐阅读
解决方案 | 基于RA8D1 MIPI DSI实现LVGL显示
解决方案 | 瑞萨RA8D1&RA8M1产品方案分享
基于RA8D1 MIPI DSI实现LVGL
