基于RAMCU+RealityAI识别动作姿态全流程开发(1)

原创 瑞萨MCU小百科 2025-01-21 12:01

实验指南

概述

本实验将为您介绍如何在e2 studio中使用Reality AI相关组件来进行AI开发,主要涉及如何使用Reality AI Data shipper/collector,Reality AI Data Storage Tool等工具来采集,存储数据文件,同时将数据文件上传到Reality AI portal中进行模型训练与生成,代码部署与调试。


本实验基于3轴加速度传感器的X,Y,Z,3轴加速度在不同动作下的变化,使用Reality AI tools训练并生成模型,来识别不同的动作。开发流程简单,快捷易用。


实验目标


  • 掌握Reality AI Data shipper/collector的基本使用方法

  • 掌握Reality AI Data Storage Tool的基本使用方法

实验材料


  • Windows10/11 PC

  • FPB-RA6E2开发板及其配件

  • ICM-42670-P模块

  • FSP 5.4.0

  • e2 studio 2024-04及以上

  • Reality AI Tools账号

技能要求


  • 熟悉Renesas e2 studio操作

  • 了解RA MCU的外围接口


安装和准备

本节要点

本节学习如何搭建实验以及如何将套件连接至电脑端。


步骤

1.1

首先确保已安装所有实验工具。(您可复制下方链接至浏览器,或扫描二维码查看)


e2stduio 2024-04及以上版本

(此链接包含了FSP5.4.0)

https://github.com/renesas/fsp/releases/download/v5.4.0/setup_fsp_v5_4_0_e2s_v2024-04.exe


 JLink RTT-Viewer V7.96g及以上版本

https://www.segger.com/downloads/jlink/


1.2

本实验将用到如下组件:

  • Micro USB数据线1根

  • FPB-RA6E2 1块


  • ICM-42670-P模块1块


  • PMOD bridge板1块


1.3

请按以下步骤操作:

  • 将ICM-42670-P模块和PMOD bridge板,按照下图安装(注意安装方向)。再与FPB-RA6E2的左下PMOD1端口连接。


  • 用Micro USB线,一端接入FPB-RA6E2板Micro USB端口,另一端接入PC USB接口。

  • 右上黄色Debug LED和右上绿色Power LED会常亮。如果是处于代码调试过程中,黄色Debug LED会处于闪烁状态。


1.4

打开PC设备管理器,在端口(COM和LPT)中会显示“Jlink CDC UART Port(COMxx)”,表示PC已经识别到FPB-RA6E2板上的JLink CDC UART。在通用总线设备中会显示“BULK interface”(这个不是必要的,有些版本的windows不会显示这个信息)。


注意:中文版本的Windows显示信息会略有不同,会显示通信端口(COMxx)或者串行端口(COMxx)。


1.5

使用已经申请到的Reality AI Tools账号登录Reality AI Tools网站(您可复制下方链接至浏览器,或扫描二维码查看)。账号申请需要联系Renesas代理商或者Renesas销售。


Reality AI Tools网站

https://portal.reality.ai/login


保持浏览器页面如上图所示。


数据采集

本节要点

本节学习e2 studio中Reality AI组件的使用。工程代码请访问以下地址(您可复制下方链接至浏览器,或扫描二维码查看)(需登录后下载):


工程代码

https://gitee.com/recn-mcu-ae/fpbra6e2amrtraining


步骤

2.1

运行e2 studio,点击File->Import。


2.2

选择General->existing Projects into Workspace,运行“Next”。


2.3

导入FPBRA6E2_AMR_training工程文件按照下图所示,然后运行“Next”。


2.4

返回到Reality AI Tools网页界面,创建一个新的项目“Asset Tracking”。


Name填写Asset Tracking。


Description主要是用来描述项目简略情况的,可以不填,或者按照自己的需要填写。


2.5

单击网页右上角的用户名,选择“Api Key”。


2.6

单击下面的“Generate New API Key”后,再单击右侧的Copy按钮复制显示的“API Key”。


2.7

点击e2 studio中的Renesas AI->Reality AI Authentication。


粘贴上一步复制的API Key,并运行“Apply and Close”。


2.8

点击“Test Connection…”,进行连接测试。


如果显示下面界面,表示e2 Studio已经成功连接到Reality AI Tools。


2.9

点击e2 studio中的Renesas AI->Show View->Reality AI Data Storage Tool。


2.10

将项目切换到FPBRA6E2_AMR_training,再点击“Data connection…”。


COM port选择1.4步骤中的Jlink CDC UART Port,波特率选择115200,其他配置参考下图显示。


点击“Connect”。然后再点击“Close”。


2.11

点击图标

来编译工程。

本工程经过编译后,应该没有任何errors或者warnings。


2.12

点击按钮

启动调试并检查控制台中的

内容是否成功建立了连接。


2.13

如果你遇到下面所示弹出的窗口,勾选“Remember my decision”,并点击“Switch”。


2.14

点击按钮

两次。

此时,程序正常运行起来。


2.15

点击Reality AI Data Storage Tool视图中的Data file setting…。


这里可以设置

  • 采集的数据文件的格式,支持csv,wav格式文件。

  • 数据的采样率。

  • 采集数据文件的存储地址。地址可以根据自己情况设置。


2.16

点击Reality AI Data Storage Tool视图,可以看到三种实时运行的波形图。


注意:如果波形没有出现或者波形图不动,点击红色框中的File review,再点击Live view。如果还是没有波形图出现,检查上述步骤中的JLink CDC UART是否连接正常。


2.17

在Class name中输入当前的数据标签normal/shake/drop,生成的数据文件会以标签名为前缀名,并加上采集的data collector的ID号和时间戳。


如:drop_id0_20240813222558879.csv,表示该数据文件是drop类别的数据,它是由data collector0在2024年8月13日22点25分58秒879毫秒采集的。



本实验一共需要采集3类数据,normal(正常)、shake(摇晃)、drop(跌落)。每类数据采集1分钟左右即可。

 

注意:尽量做到每类数据采集的时间相同,这样可以确保接下来的训练数据处于平衡的状态。

 

  • normal是板子处于静止的状态下采集的数据。

  • shake是拿着板子左右摇晃,前后摇晃或者移动板子的状态下采集的数据。

  • drop是拿着板子离桌面10cm左右,自由落体跌落的状态下采集的数据。(建议在泡沫或者软材质垫子上进行,避免板子损坏)。


点击“Start new capture”,开始进行数据采集。点击“Stop capture”停止采集。


2.18

选择已经采集的数据文件,点击右下角的upload…按钮,上传数据到Reality AI Tools中。


2.19

在弹出的窗口中选择“Asset Tracking”,并输入采样率1600。点击OK,等待数据上传。


数据上传完成后,会有如下提示窗口弹出。同时,文件列表中的Status显示为Uploaded。


2.20

点击图标

来终止程序运行。


需要产品及方案支持

请扫码登记


需要技术支持?

如您在使用瑞萨MCU/MPU产品中有任何问题,可识别下方二维码或复制网址到浏览器中打开,进入瑞萨技术论坛寻找答案或获取在线技术支持。

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/



未完待续


推荐阅读

RA系列MCU自检代码使用介绍

RZ/T2M USB PVND与PyUSB通讯的应用样例(上)

RZ/T2M USB PVND与PyUSB通讯的应用样例(下)


更多精彩,敬请关注

需要产品及方案支持

请扫码登记


评论
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 57浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 118浏览
  • 日前,商务部等部门办公厅印发《手机、平板、智能手表(手环)购新补贴实施方案》明确,个人消费者购买手机、平板、智能手表(手环)3类数码产品(单件销售价格不超过6000元),可享受购新补贴。每人每类可补贴1件,每件补贴比例为减去生产、流通环节及移动运营商所有优惠后最终销售价格的15%,每件最高不超过500元。目前,京东已经做好了承接手机、平板等数码产品国补优惠的落地准备工作,未来随着各省市关于手机、平板等品类的国补开启,京东将第一时间率先上线,满足消费者的换新升级需求。为保障国补的真实有效发放,基于
    华尔街科技眼 2025-01-17 10:44 205浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 152浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 84浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 117浏览
  • 百佳泰特为您整理2025年1月各大Logo的最新规格信息,本月有更新信息的logo有HDMI、Wi-Fi、Bluetooth、DisplayHDR、ClearMR、Intel EVO。HDMI®▶ 2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新规范将支持更高的分辨率和刷新率,并提供更多高质量选项。更快的96Gbps 带宽可满足数据密集型沉浸式和虚拟应用对传输的要求,如 AR/VR/MR、空间现实和光场显示,以及各种商业应用,如大型数字标牌、医疗成像和
    百佳泰测试实验室 2025-01-16 15:41 189浏览
  • 80,000人到访的国际大展上,艾迈斯欧司朗有哪些亮点?感未来,光无限。近日,在慕尼黑electronica 2024现场,ams OSRAM通过多款创新DEMO展示,以及数场前瞻洞察分享,全面展示自身融合传感器、发射器及集成电路技术,精准捕捉并呈现环境信息的卓越能力。同时,ams OSRAM通过展会期间与客户、用户等行业人士,以及媒体朋友的深度交流,向业界传达其以光电技术为笔、以创新为墨,书写智能未来的深度思考。electronica 2024electronica 2024构建了一个高度国际
    艾迈斯欧司朗 2025-01-16 20:45 187浏览
  • 随着消费者对汽车驾乘体验的要求不断攀升,汽车照明系统作为确保道路安全、提升驾驶体验以及实现车辆与环境交互的重要组成,日益受到业界的高度重视。近日,2024 DVN(上海)国际汽车照明研讨会圆满落幕。作为照明与传感创新的全球领导者,艾迈斯欧司朗受邀参与主题演讲,并现场展示了其多项前沿技术。本届研讨会汇聚来自全球各地400余名汽车、照明、光源及Tier 2供应商的专业人士及专家共聚一堂。在研讨会第一环节中,艾迈斯欧司朗系统解决方案工程副总裁 Joachim Reill以深厚的专业素养,主持该环节多位
    艾迈斯欧司朗 2025-01-16 20:51 146浏览
  • 电竞鼠标应用环境与客户需求电竞行业近年来发展迅速,「鼠标延迟」已成为决定游戏体验与比赛结果的关键因素。从技术角度来看,传统鼠标的延迟大约为20毫秒,入门级电竞鼠标通常为5毫秒,而高阶电竞鼠标的延迟可降低至仅2毫秒。这些差异看似微小,但在竞技激烈的游戏中,尤其在对反应和速度要求极高的场景中,每一毫秒的优化都可能带来致胜的优势。电竞比赛的普及促使玩家更加渴望降低鼠标延迟以提升竞技表现。他们希望通过精确的测试,了解不同操作系统与设定对延迟的具体影响,并寻求最佳配置方案来获得竞技优势。这样的需求推动市场
    百佳泰测试实验室 2025-01-16 15:45 310浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦