实验指南
概述
本实验将为您介绍如何在e2 studio中使用Reality AI相关组件来进行AI开发,主要涉及如何使用Reality AI Data shipper/collector,Reality AI Data Storage Tool等工具来采集,存储数据文件,同时将数据文件上传到Reality AI portal中进行模型训练与生成,代码部署与调试。
本实验基于3轴加速度传感器的X,Y,Z,3轴加速度在不同动作下的变化,使用Reality AI tools训练并生成模型,来识别不同的动作。开发流程简单,快捷易用。
实验目标
掌握Reality AI Data shipper/collector的基本使用方法
掌握Reality AI Data Storage Tool的基本使用方法
实验材料
Windows10/11 PC
FPB-RA6E2开发板及其配件
ICM-42670-P模块
FSP 5.4.0
e2 studio 2024-04及以上
Reality AI Tools账号
技能要求
熟悉Renesas e2 studio操作
了解RA MCU的外围接口
一
安装和准备
本节要点
本节学习如何搭建实验以及如何将套件连接至电脑端。
步骤
1.1
首先确保已安装所有实验工具。(您可复制下方链接至浏览器,或扫描二维码查看)
(此链接包含了FSP5.4.0)
https://github.com/renesas/fsp/releases/download/v5.4.0/setup_fsp_v5_4_0_e2s_v2024-04.exe
https://www.segger.com/downloads/jlink/
1.2
本实验将用到如下组件:
Micro USB数据线1根
FPB-RA6E2 1块
ICM-42670-P模块1块
PMOD bridge板1块
1.3
请按以下步骤操作:
将ICM-42670-P模块和PMOD bridge板,按照下图安装(注意安装方向)。再与FPB-RA6E2的左下PMOD1端口连接。
用Micro USB线,一端接入FPB-RA6E2板Micro USB端口,另一端接入PC USB接口。
右上黄色Debug LED和右上绿色Power LED会常亮。如果是处于代码调试过程中,黄色Debug LED会处于闪烁状态。
1.4
打开PC设备管理器,在端口(COM和LPT)中会显示“Jlink CDC UART Port(COMxx)”,表示PC已经识别到FPB-RA6E2板上的JLink CDC UART。在通用总线设备中会显示“BULK interface”(这个不是必要的,有些版本的windows不会显示这个信息)。
注意:中文版本的Windows显示信息会略有不同,会显示通信端口(COMxx)或者串行端口(COMxx)。
1.5
使用已经申请到的Reality AI Tools账号登录Reality AI Tools网站(您可复制下方链接至浏览器,或扫描二维码查看)。账号申请需要联系Renesas代理商或者Renesas销售。
https://portal.reality.ai/login
保持浏览器页面如上图所示。
二
数据采集
本节要点
本节学习e2 studio中Reality AI组件的使用。工程代码请访问以下地址(您可复制下方链接至浏览器,或扫描二维码查看)(需登录后下载):
https://gitee.com/recn-mcu-ae/fpbra6e2amrtraining
步骤
2.1
运行e2 studio,点击File->Import。
2.2
选择General->existing Projects into Workspace,运行“Next”。
2.3
导入FPBRA6E2_AMR_training工程文件按照下图所示,然后运行“Next”。
2.4
返回到Reality AI Tools网页界面,创建一个新的项目“Asset Tracking”。
Name填写Asset Tracking。
Description主要是用来描述项目简略情况的,可以不填,或者按照自己的需要填写。
2.5
单击网页右上角的用户名,选择“Api Key”。
2.6
单击下面的“Generate New API Key”后,再单击右侧的Copy按钮复制显示的“API Key”。
2.7
点击e2 studio中的Renesas AI->Reality AI Authentication。
粘贴上一步复制的API Key,并运行“Apply and Close”。
2.8
点击“Test Connection…”,进行连接测试。
如果显示下面界面,表示e2 Studio已经成功连接到Reality AI Tools。
2.9
点击e2 studio中的Renesas AI->Show View->Reality AI Data Storage Tool。
2.10
将项目切换到FPBRA6E2_AMR_training,再点击“Data connection…”。
COM port选择1.4步骤中的Jlink CDC UART Port,波特率选择115200,其他配置参考下图显示。
点击“Connect”。然后再点击“Close”。
2.11
点击图标
来编译工程。
本工程经过编译后,应该没有任何errors或者warnings。
2.12
点击按钮
启动调试并检查控制台中的
内容是否成功建立了连接。
2.13
如果你遇到下面所示弹出的窗口,勾选“Remember my decision”,并点击“Switch”。
2.14
点击按钮
两次。
此时,程序正常运行起来。
2.15
点击Reality AI Data Storage Tool视图中的Data file setting…。
这里可以设置
采集的数据文件的格式,支持csv,wav格式文件。
数据的采样率。
采集数据文件的存储地址。地址可以根据自己情况设置。
2.16
点击Reality AI Data Storage Tool视图,可以看到三种实时运行的波形图。
注意:如果波形没有出现或者波形图不动,点击红色框中的File review,再点击Live view。如果还是没有波形图出现,检查上述步骤中的JLink CDC UART是否连接正常。
2.17
在Class name中输入当前的数据标签normal/shake/drop,生成的数据文件会以标签名为前缀名,并加上采集的data collector的ID号和时间戳。
如:drop_id0_20240813222558879.csv,表示该数据文件是drop类别的数据,它是由data collector0在2024年8月13日22点25分58秒879毫秒采集的。
本实验一共需要采集3类数据,normal(正常)、shake(摇晃)、drop(跌落)。每类数据采集1分钟左右即可。
注意:尽量做到每类数据采集的时间相同,这样可以确保接下来的训练数据处于平衡的状态。
normal是板子处于静止的状态下采集的数据。
shake是拿着板子左右摇晃,前后摇晃或者移动板子的状态下采集的数据。
drop是拿着板子离桌面10cm左右,自由落体跌落的状态下采集的数据。(建议在泡沫或者软材质垫子上进行,避免板子损坏)。
点击“Start new capture”,开始进行数据采集。点击“Stop capture”停止采集。
2.18
选择已经采集的数据文件,点击右下角的upload…按钮,上传数据到Reality AI Tools中。
2.19
在弹出的窗口中选择“Asset Tracking”,并输入采样率1600。点击OK,等待数据上传。
数据上传完成后,会有如下提示窗口弹出。同时,文件列表中的Status显示为Uploaded。
2.20
点击图标
来终止程序运行。
需要产品及方案支持
请扫码登记
如您在使用瑞萨MCU/MPU产品中有任何问题,可识别下方二维码或复制网址到浏览器中打开,进入瑞萨技术论坛寻找答案或获取在线技术支持。
https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/
未完待续
推荐阅读
RA系列MCU自检代码使用介绍
RZ/T2M USB PVND与PyUSB通讯的应用样例(上)
RZ/T2M USB PVND与PyUSB通讯的应用样例(下)
需要产品及方案支持
请扫码登记