基于RAMCU+RealityAI识别动作姿态全流程开发(2)

原创 瑞萨MCU小百科 2025-01-22 12:00


前期回顾

01

基于RA MCU + Reality AI识别动作姿态全流程开发(1)


创建模型与部署

本节要点

在第二步采集到的数据基础之上,用Reality AI Tools创建模型。


步骤

1.1

点击Asset Tracking,激活此项目。


点击左侧Data界面,按照如下步骤操作:

  1. 点击Curate。

  2. 点击数据文件展开按钮。

  3. 勾选数据文件。

  4. 点击Action。

  5. 点击Format Selected。


1.2

在弹出的窗口中,按下述步骤操作:

  1. 点击#1 Data,并下拉到最下面,选择Ignore。(注意:这一步非常重要)。

  2. 输入采样率1600。

  3. 点击Confirm。


1.3

点击Action->Segment List From Selected,进行数据分段。


1.4

按照如下步骤:

  1. Window Length Datapoints选择512。

  2. Offset Datapoints选择50%。

  3. List名称为amr_512_50_percent_overlap。

  4. 点击Submit。

在这里解释一下,滑动窗口的作用:

  1. 避免窗口边缘特征的丢失。

  2. 增加样本的数量。


滑动窗口允许背靠背分段数据之间的重叠。

  • Sample 1和2之间有50%重叠。

  • Sample 2和3之间有50%重叠。


1.5

在e2 studio中的configuration.xml中的stack部分Properties页面中Data Shipper/Data Collector/General/Frame Buffer Length,可以设置MCU采集数据时的滑动窗口大小。


本实验滑动窗口的设置是512。


1.6

当数据分段完成后,点击左侧AI Explore->Classes。


1.7

点击先前创建的amr_512_50_percent_overlap。再点击界面下部的Start exploring。


此时,模型正在生成中。模型生成的过程中,允许退出系统或者进行其他操作。这些操作并不会中断或者影响模型生成。 


1.8

大概等待10~25分钟左右后,模型生成完成,模型生成时长与训练数据大小有关。


如何选择适合自己的模型呢?主要关注Complexity和KFold Accuracy两个指标。


点击Complexity列的三角图标,它显示当前模型的相关参数。


  • X Operations表示模型运行中的MAC(乘累加)操作数量。

  • RAM表示模型运行中所需RAM的大小。

  • Storage(FLASH/ROM)表示模型运行中所需FLASH的大小。


注意:上述的RAM和FLASH的数值,是以云端服务器硬件平台为基准显示的,仅供参考。部署到实际项目中的MCU/MPU平台中的RAM和FLASH的数值,可能会与这个不同。


KFold Accuracy表示K折交叉验证的模型精度。交叉验证的基本思想是将原始数据集分成多个部分,一部分当作训练集,另一部分作为验证集。先用训练集对算法模型进行训练,再用验证集测试训练得到的算法模型,反复利用这些部分进行模型的训练和验证。Overall %表示本模型的整体精度,数值越高越好,Worst %表示本模型的最差精度,数值越高越好。


点击图中“Create Base Tool”,来生成嵌入式端的模型。


注意:Reality AI Tools会生成许多模型,点击右下角的” Show more results” 可以看到被折叠隐藏的更多模型。


1.9

使用默认的名称,或者输入模型名称和描述。点击“Add”。


1.10

现在开始创建嵌入式端侧部署模型,按照如下步骤:

  • 点击Deploy->Embedded。

  • 点击Trained Tool Description list。

  • 点击 +New Package。


1.11

输入DeployName,这个名字就是待会生成的API的前缀。在Inputs中的Data type中选择float32(float)。因为采集的数据是float32类型的。中间的outputs区域,显示了API的输出类型和含义。右侧的Build Options涵盖目标设备类型(目前RA6E2没有在列表清单中,暂时选择RA6E1),FPU类型选择M33 FPU,hard fp abi,Toolchain选择GNU GCC 13.2.1,优化类型选择Speed。


点击Generate New Package,创建模型。


1.12

此时,可以看见右侧的Download显示

表示模型生成中。


大概10~25分钟左右。

等到右侧的Download显示

模型生成完成

点击

下载模型文件。


1.13

生成的模型文件名称为amr.zip,里面一共有9个文件,

  1. README.txt和model_info.xml是模型相关的信息,包括占用的ROM和RAM信息等。

  2. librai_edsp_f32_arm.a是库文件。

  3. example_classifier.c是模型调用的例子代码,实际使用的时候,不需要添加到工程中。

  4. 其余5个文件是模型相关的.c和.h文件。


将上述的librai_edsp_f32_arm.a,amr_model.c,amr_model.h,RealityAI.h,RealityAI_Config.h,RealityAI_Types.h文件复制到Asset Tracking工程中的src/rai文件夹中。


1.14

在hal_entry.c中添加#include "amr_model.h"。


同时把hal_entry.c中的宏定义

#define DATA_COLLECTION_EN     (1)

修改成

#define DATA_COLLECTION_EN    (0)

表示代码进入推理阶段。


1.15

点击图标

来编译工程。

本工程经过编译后,应改没有任何errors或者warnings。


1.16

点击按钮

启动调试并检查控制台中的内容是否成功建立了连接。


1.17

打开Debug文件中的FPBRA6E2_AMR_training.map文件。


搜索到.bss._SEGGER_RTT字段并复制红色框处地址。


注意:下图中的地址可能和实际的工程不相符,以自己手中的文件为准。


1.18

打开J-Link RTT-Viewer,点击File->Connect。


在弹出的窗口中,按照以下图片配置。注意,左下角的地址,输入的是上一步骤复制的地址,点击OK。


看到下面的Log输出框,表示连接成功。


1.19

点击Terminal 0标签页。


1.20

点击图标

两次

此时,程序正常运行起来。


如果在运行的工程中,发现程序停留在startup.c中Default_Handler中。


参考先前3.14步骤中下载的模型中的README.txt的Estimated Memory Utilization中的Parameters,Stack Usage和Pre-Allocated之和。还要考虑加上工程本身没有使用模型推理的代码的stack消耗。


这是工程的stack设定过小,导致堆栈溢出,从而进入Default_Handler。需要在configuration.xml->BSP->Properties->RA Common中的Main stack size(bytes)进行修改。


1.21

观察J-Link RTT Viewer中的打印信息。通过扔(10cm高处跌落)、摇晃、静止FPB-RA6E2。可以发现得到如下信息:

  • 红色表示FPB-RA6E2处于drop状态。

  • 黄色表示FPB-RA6E2处于shake状态。

  • 绿色表示FPB-RA6E2处于normal状态。


可以尝试采集更多类型动作数据,再次上传数据并训练,以便识别更多的动作。


需要产品及方案支持

请扫码登记


需要技术支持?

如您在使用瑞萨MCU/MPU产品中有任何问题,可识别下方二维码或复制网址到浏览器中打开,进入瑞萨技术论坛寻找答案或获取在线技术支持。

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/



1

END

1


推荐阅读

RA系列MCU自检代码使用介绍

RZ/T2M USB PVND与PyUSB通讯的应用样例(上)

RZ/T2M USB PVND与PyUSB通讯的应用样例(下)


更多精彩,敬请关注

需要产品及方案支持

请扫码登记


评论
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 176浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 141浏览
  • 嘿,咱来聊聊RISC-V MCU技术哈。 这RISC-V MCU技术呢,简单来说就是基于一个叫RISC-V的指令集架构做出的微控制器技术。RISC-V这个啊,2010年的时候,是加州大学伯克利分校的研究团队弄出来的,目的就是想搞个新的、开放的指令集架构,能跟上现代计算的需要。到了2015年,专门成立了个RISC-V基金会,让这个架构更标准,也更好地推广开了。这几年啊,这个RISC-V的生态系统发展得可快了,好多公司和机构都加入了RISC-V International,还推出了不少RISC-V
    丙丁先生 2025-01-21 12:10 103浏览
  • 数字隔离芯片是一种实现电气隔离功能的集成电路,在工业自动化、汽车电子、光伏储能与电力通信等领域的电气系统中发挥着至关重要的作用。其不仅可令高、低压系统之间相互独立,提高低压系统的抗干扰能力,同时还可确保高、低压系统之间的安全交互,使系统稳定工作,并避免操作者遭受来自高压系统的电击伤害。典型数字隔离芯片的简化原理图值得一提的是,数字隔离芯片历经多年发展,其应用范围已十分广泛,凡涉及到在高、低压系统之间进行信号传输的场景中基本都需要应用到此种芯片。那么,电气工程师在进行电路设计时到底该如何评估选择一
    华普微HOPERF 2025-01-20 16:50 70浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 153浏览
  •     IPC-2581是基于ODB++标准、结合PCB行业特点而指定的PCB加工文件规范。    IPC-2581旨在替代CAM350格式,成为PCB加工行业的新的工业规范。    有一些免费软件,可以查看(不可修改)IPC-2581数据文件。这些软件典型用途是工艺校核。    1. Vu2581        出品:Downstream     
    电子知识打边炉 2025-01-22 11:12 35浏览
  • 高速先生成员--黄刚这不马上就要过年了嘛,高速先生就不打算给大家上难度了,整一篇简单但很实用的文章给大伙瞧瞧好了。相信这个标题一出来,尤其对于PCB设计工程师来说,心就立马凉了半截。他们辛辛苦苦进行PCB的过孔设计,高速先生居然说设计多大的过孔他们不关心!另外估计这时候就跳出很多“挑刺”的粉丝了哈,因为翻看很多以往的文章,高速先生都表达了过孔孔径对高速性能的影响是很大的哦!咋滴,今天居然说孔径不关心了?别,别急哈,听高速先生在这篇文章中娓娓道来。首先还是要对各位设计工程师的设计表示肯定,毕竟像我
    一博科技 2025-01-21 16:17 94浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 159浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 118浏览
  •  万万没想到!科幻电影中的人形机器人,正在一步步走进我们人类的日常生活中来了。1月17日,乐聚将第100台全尺寸人形机器人交付北汽越野车,再次吹响了人形机器人疯狂进厂打工的号角。无独有尔,银河通用机器人作为一家成立不到两年时间的创业公司,在短短一年多时间内推出革命性的第一代产品Galbot G1,这是一款轮式、双臂、身体可折叠的人形机器人,得到了美团战投、经纬创投、IDG资本等众多投资方的认可。作为一家成立仅仅只有两年多时间的企业,智元机器人也把机器人从梦想带进了现实。2024年8月1
    刘旷 2025-01-21 11:15 239浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦