基于RAMCU+RealityAI识别动作姿态全流程开发(1)

原创 瑞萨MCU小百科 2025-01-21 12:01

实验指南

概述

本实验将为您介绍如何在e2 studio中使用Reality AI相关组件来进行AI开发,主要涉及如何使用Reality AI Data shipper/collector,Reality AI Data Storage Tool等工具来采集,存储数据文件,同时将数据文件上传到Reality AI portal中进行模型训练与生成,代码部署与调试。


本实验基于3轴加速度传感器的X,Y,Z,3轴加速度在不同动作下的变化,使用Reality AI tools训练并生成模型,来识别不同的动作。开发流程简单,快捷易用。


实验目标


  • 掌握Reality AI Data shipper/collector的基本使用方法

  • 掌握Reality AI Data Storage Tool的基本使用方法

实验材料


  • Windows10/11 PC

  • FPB-RA6E2开发板及其配件

  • ICM-42670-P模块

  • FSP 5.4.0

  • e2 studio 2024-04及以上

  • Reality AI Tools账号

技能要求


  • 熟悉Renesas e2 studio操作

  • 了解RA MCU的外围接口


安装和准备

本节要点

本节学习如何搭建实验以及如何将套件连接至电脑端。


步骤

1.1

首先确保已安装所有实验工具。(您可复制下方链接至浏览器,或扫描二维码查看)


e2stduio 2024-04及以上版本

(此链接包含了FSP5.4.0)

https://github.com/renesas/fsp/releases/download/v5.4.0/setup_fsp_v5_4_0_e2s_v2024-04.exe


 JLink RTT-Viewer V7.96g及以上版本

https://www.segger.com/downloads/jlink/


1.2

本实验将用到如下组件:

  • Micro USB数据线1根

  • FPB-RA6E2 1块


  • ICM-42670-P模块1块


  • PMOD bridge板1块


1.3

请按以下步骤操作:

  • 将ICM-42670-P模块和PMOD bridge板,按照下图安装(注意安装方向)。再与FPB-RA6E2的左下PMOD1端口连接。


  • 用Micro USB线,一端接入FPB-RA6E2板Micro USB端口,另一端接入PC USB接口。

  • 右上黄色Debug LED和右上绿色Power LED会常亮。如果是处于代码调试过程中,黄色Debug LED会处于闪烁状态。


1.4

打开PC设备管理器,在端口(COM和LPT)中会显示“Jlink CDC UART Port(COMxx)”,表示PC已经识别到FPB-RA6E2板上的JLink CDC UART。在通用总线设备中会显示“BULK interface”(这个不是必要的,有些版本的windows不会显示这个信息)。


注意:中文版本的Windows显示信息会略有不同,会显示通信端口(COMxx)或者串行端口(COMxx)。


1.5

使用已经申请到的Reality AI Tools账号登录Reality AI Tools网站(您可复制下方链接至浏览器,或扫描二维码查看)。账号申请需要联系Renesas代理商或者Renesas销售。


Reality AI Tools网站

https://portal.reality.ai/login


保持浏览器页面如上图所示。


数据采集

本节要点

本节学习e2 studio中Reality AI组件的使用。工程代码请访问以下地址(您可复制下方链接至浏览器,或扫描二维码查看)(需登录后下载):


工程代码

https://gitee.com/recn-mcu-ae/fpbra6e2amrtraining


步骤

2.1

运行e2 studio,点击File->Import。


2.2

选择General->existing Projects into Workspace,运行“Next”。


2.3

导入FPBRA6E2_AMR_training工程文件按照下图所示,然后运行“Next”。


2.4

返回到Reality AI Tools网页界面,创建一个新的项目“Asset Tracking”。


Name填写Asset Tracking。


Description主要是用来描述项目简略情况的,可以不填,或者按照自己的需要填写。


2.5

单击网页右上角的用户名,选择“Api Key”。


2.6

单击下面的“Generate New API Key”后,再单击右侧的Copy按钮复制显示的“API Key”。


2.7

点击e2 studio中的Renesas AI->Reality AI Authentication。


粘贴上一步复制的API Key,并运行“Apply and Close”。


2.8

点击“Test Connection…”,进行连接测试。


如果显示下面界面,表示e2 Studio已经成功连接到Reality AI Tools。


2.9

点击e2 studio中的Renesas AI->Show View->Reality AI Data Storage Tool。


2.10

将项目切换到FPBRA6E2_AMR_training,再点击“Data connection…”。


COM port选择1.4步骤中的Jlink CDC UART Port,波特率选择115200,其他配置参考下图显示。


点击“Connect”。然后再点击“Close”。


2.11

点击图标

来编译工程。

本工程经过编译后,应该没有任何errors或者warnings。


2.12

点击按钮

启动调试并检查控制台中的

内容是否成功建立了连接。


2.13

如果你遇到下面所示弹出的窗口,勾选“Remember my decision”,并点击“Switch”。


2.14

点击按钮

两次。

此时,程序正常运行起来。


2.15

点击Reality AI Data Storage Tool视图中的Data file setting…。


这里可以设置

  • 采集的数据文件的格式,支持csv,wav格式文件。

  • 数据的采样率。

  • 采集数据文件的存储地址。地址可以根据自己情况设置。


2.16

点击Reality AI Data Storage Tool视图,可以看到三种实时运行的波形图。


注意:如果波形没有出现或者波形图不动,点击红色框中的File review,再点击Live view。如果还是没有波形图出现,检查上述步骤中的JLink CDC UART是否连接正常。


2.17

在Class name中输入当前的数据标签normal/shake/drop,生成的数据文件会以标签名为前缀名,并加上采集的data collector的ID号和时间戳。


如:drop_id0_20240813222558879.csv,表示该数据文件是drop类别的数据,它是由data collector0在2024年8月13日22点25分58秒879毫秒采集的。



本实验一共需要采集3类数据,normal(正常)、shake(摇晃)、drop(跌落)。每类数据采集1分钟左右即可。

 

注意:尽量做到每类数据采集的时间相同,这样可以确保接下来的训练数据处于平衡的状态。

 

  • normal是板子处于静止的状态下采集的数据。

  • shake是拿着板子左右摇晃,前后摇晃或者移动板子的状态下采集的数据。

  • drop是拿着板子离桌面10cm左右,自由落体跌落的状态下采集的数据。(建议在泡沫或者软材质垫子上进行,避免板子损坏)。


点击“Start new capture”,开始进行数据采集。点击“Stop capture”停止采集。


2.18

选择已经采集的数据文件,点击右下角的upload…按钮,上传数据到Reality AI Tools中。


2.19

在弹出的窗口中选择“Asset Tracking”,并输入采样率1600。点击OK,等待数据上传。


数据上传完成后,会有如下提示窗口弹出。同时,文件列表中的Status显示为Uploaded。


2.20

点击图标

来终止程序运行。


需要产品及方案支持

请扫码登记


需要技术支持?

如您在使用瑞萨MCU/MPU产品中有任何问题,可识别下方二维码或复制网址到浏览器中打开,进入瑞萨技术论坛寻找答案或获取在线技术支持。

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/



未完待续


推荐阅读

RA系列MCU自检代码使用介绍

RZ/T2M USB PVND与PyUSB通讯的应用样例(上)

RZ/T2M USB PVND与PyUSB通讯的应用样例(下)


更多精彩,敬请关注

需要产品及方案支持

请扫码登记


评论 (0)
  • 展会名称:2025成都国际工业博览会(简称:成都工博会)展会日期:4月23 -25日展会地址:西部国际博览城展位号:15H-E010科士威传动将展示智能制造较新技术及全套解决方案。 2025年4月23-25日,中国西部国际博览城将迎来一场工业领域的年度盛会——2025成都国际工业博览会。这场以“创链新工业,共碳新未来”为主题的展会上,来自全球的600+ 家参展企业将齐聚一堂,共同展示智能制造产业链中的关键产品及解决方案,助力制造业向数字化、网络化、智能化转型。科士威传动将受邀参展。&n
    科士威传动 2025-04-14 17:55 83浏览
  • 一、智能语音播报技术演进与市场需求随着人工智能技术的快速发展,TTS(Text-to-Speech)技术在商业场景中的应用呈现爆发式增长。在零售领域,智能收款机的语音播报功能已成为提升服务效率和用户体验的关键模块。WT3000T8作为新一代高性能语音合成芯片,凭借其优异的处理能力和灵活的功能配置,正在为收款机智能化升级提供核心技术支持。二、WT3000T8芯片技术特性解析硬件架构优势采用32位高性能处理器(主频240MHz),支持实时语音合成与多任务处理QFN32封装(4x4mm)实现小型化设计
    广州唯创电子 2025-04-15 08:53 93浏览
  • 四、芯片封测技术及应用场景1、封装技术的发展历程 (1)DIP封装:早期分立元件封装,体积大、引脚少; (2)QFP封装:引脚密度提升,适用于早期集成电路。 (3)BGA封装:高密度互连,散热与信号传输优化; (4)3D封装:通过TSV(硅通孔)实现垂直堆叠,提升集成度(如HBM内存堆叠); (5)Chiplet封装:异质集成,将不同工艺节点的模块组合(如AMD的Zen3+架构)。 (6)SiP封装:集成多种功能芯片(如iPhone的A系列SoC整合CPU、GPU、射频模块)。2、芯片测试 (1
    碧海长空 2025-04-15 11:45 169浏览
  • 时源芯微 专业EMC解决方案提供商  为EMC创造可能(适用于高频时钟电路,提升EMC性能与信号稳定性)一、设计目标抑制电源噪声:阻断高频干扰(如DC-DC开关噪声)传入晶振电源。降低时钟抖动:确保晶振输出信号纯净,减少相位噪声。通过EMC测试:减少晶振谐波辐射(如30MHz~1GHz频段)。二、滤波电路架构典型拓扑:电源输入 → 磁珠(FB) → 大电容(C1) + 高频电容(C2) → 晶振VDD1. 磁珠(Ferrite Bead)选型阻抗特性:在目标频段(如100MHz~1GH
    时源芯微 2025-04-14 14:53 96浏览
  •   高空 SAR 目标智能成像系统软件:多领域应用的前沿利器   高空 SAR(合成孔径雷达)目标智能成像系统软件,专门针对卫星、无人机等高空平台搭载的 SAR传感器数据,融合人工智能与图像处理技术,打造出的高效目标检测、识别及成像系统。此软件借助智能算法,显著提升 SAR图像分辨率、目标特征提取能力以及实时处理效率,为军事侦察、灾害监测、资源勘探等领域,提供关键技术支撑。   应用案例系统软件供应可以来这里,这个首肌开始是幺伍扒,中间是幺幺叁叁,最后一个是泗柒泗泗,按照数字顺序组合
    华盛恒辉l58ll334744 2025-04-14 16:09 144浏览
  • 三、芯片的制造1、制造核心流程 (1)晶圆制备:以高纯度硅为基底,通过拉晶、切片、抛光制成晶圆。 (2)光刻:光刻、离子注入、薄膜沉积、化学机械抛光。 (3)刻蚀与沉积:使用干法刻蚀(等离子体)精准切割图形,避免侧壁损伤。 (4)掺杂:注入离子形成PN结特性,实现晶体管开关功能。2、材料与工艺创新 (1)新材料应用: 高迁移率材料(FinFET中的应变硅、GaN在射频芯片中的应用); 新型封装技术(3D IC、TSV硅通孔)提升集成度。 (2)工艺创新: 制程从7nm到3nm,设计架构由F
    碧海长空 2025-04-15 11:33 171浏览
  •   无人装备作战协同仿真系统软件:科技的关键支撑   无人装备作战协同仿真系统软件,作为一款综合性仿真平台,主要用于模拟无人机、无人车、无人艇等无人装备在复杂作战环境中的协同作战能力、任务规划、指挥控制以及性能评估。该系统通过搭建虚拟战场环境,支持多种无人装备协同作战仿真,为作战指挥、装备研发、战术训练和作战效能评估,提供科学依据。   应用案例   系统软件供应可以来这里,这个首肌开始是幺伍扒,中间是幺幺叁叁,最后一个是泗柒泗泗,按照数字顺序组合就可以找到。   核心功能   虚拟战
    华盛恒辉l58ll334744 2025-04-14 17:24 86浏览
  • 二、芯片的设计1、芯片设计的基本流程 (1)需求定义: 明确芯片功能(如处理器、存储、通信)、性能指标(速度、功耗、面积)及目标应用场景(消费电子、汽车、工业)。 (2)架构设计: 确定芯片整体框架,包括核心模块(如CPU、GPU、存储单元)的协同方式和数据流路径。 (3)逻辑设计: 通过硬件描述语言(如Verilog、VHDL)将架构转化为电路逻辑,生成RTL(寄存器传输级)代码。 (4)物理设计: 将逻辑代码映射到物理布局,涉及布局布线、时序优化、功耗分析等,需借助EDA工具(如Ca
    碧海长空 2025-04-15 11:30 133浏览
  • 一、智能门锁市场痛点与技术革新随着智能家居的快速发展,电子门锁正从“密码解锁”向“无感交互”进化。然而,传统人体感应技术普遍面临三大挑战:功耗高导致续航短、静态人体检测能力弱、环境适应性差。WTL580微波雷达解决方案,以5.8GHz高精度雷达感知技术为核心,突破行业瓶颈,为智能门锁带来“精准感知-高效触发-超低功耗”的全新交互范式。二、WTL580方案核心技术优势1. 5.8GHz毫米波雷达:精准感知的革命全状态人体检测:支持运动、微动(如呼吸)、静态(坐卧)多模态感知,检测灵敏度达0.1m/
    广州唯创电子 2025-04-15 09:20 75浏览
  • 一、芯片的发展历程总结:1、晶体管的诞生(1)电子管时代 20世纪40年代,电子管体积庞大、功耗高、可靠性差,无法满足计算机小型化需求。(2)晶体管时代 1947年,贝尔实验室的肖克利、巴丁和布拉顿发明点接触晶体管,实现电子信号放大与开关功能,标志着固态电子时代的开端。 1956年,肖克利发明晶体管。(3)硅基晶体管时代 早期晶体管采用锗材料,但硅更耐高温、成本低,成为主流材料。2、集成电路的诞生与发展 1958年,德州仪器工程师基尔比用锗材料制成世界上第一块含多个晶体管的集成电路,同年仙童半导
    碧海长空 2025-04-15 09:30 107浏览
  • 你知道精益管理中的“看板”真正的意思吗?在很多人眼中,它不过是车间墙上的一块卡片、一张单子,甚至只是个用来控制物料的工具。但如果你读过大野耐一的《丰田生产方式》,你就会发现,看板的意义远不止于此。它其实是丰田精益思想的核心之一,是让工厂动起来的“神经系统”。这篇文章,我们就带你一起从这本书出发,重新认识“看板”的深层含义。一、使“看板”和台车结合使用  所谓“看板”就是指纸卡片。“看板”的重要作用之一,就是连接生产现场上道工序和下道工序的信息工具。  “看板”是“准时化”生产的重要手段,它总是要
    优思学院 2025-04-14 15:02 117浏览
  • 在当今汽车电子化和智能化快速发展的时代,车规级电子元器件的质量直接关系到汽车安全性能。三星作为全球领先的电子元器件制造商,其车规电容备受青睐。然而,选择一个靠谱的三星车规电容代理商至关重要。本文以行业领军企业北京贞光科技有限公司为例,深入剖析如何选择优质代理商。选择靠谱代理商的关键标准1. 授权资质与行业地位选择三星车规电容代理商首先要验证其授权资质及行业地位。北京贞光科技作为中国电子元器件行业的领军者,长期走在行业前沿,拥有完备的授权资质。公司专注于市场分销和整体布局,在电子元器件领域建立了卓
    贞光科技 2025-04-14 16:18 137浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦