基于RAMCU+RealityAI识别动作姿态全流程开发(2)

原创 瑞萨MCU小百科 2025-01-22 12:00


前期回顾

01

基于RA MCU + Reality AI识别动作姿态全流程开发(1)


创建模型与部署

本节要点

在第二步采集到的数据基础之上,用Reality AI Tools创建模型。


步骤

1.1

点击Asset Tracking,激活此项目。


点击左侧Data界面,按照如下步骤操作:

  1. 点击Curate。

  2. 点击数据文件展开按钮。

  3. 勾选数据文件。

  4. 点击Action。

  5. 点击Format Selected。


1.2

在弹出的窗口中,按下述步骤操作:

  1. 点击#1 Data,并下拉到最下面,选择Ignore。(注意:这一步非常重要)。

  2. 输入采样率1600。

  3. 点击Confirm。


1.3

点击Action->Segment List From Selected,进行数据分段。


1.4

按照如下步骤:

  1. Window Length Datapoints选择512。

  2. Offset Datapoints选择50%。

  3. List名称为amr_512_50_percent_overlap。

  4. 点击Submit。

在这里解释一下,滑动窗口的作用:

  1. 避免窗口边缘特征的丢失。

  2. 增加样本的数量。


滑动窗口允许背靠背分段数据之间的重叠。

  • Sample 1和2之间有50%重叠。

  • Sample 2和3之间有50%重叠。


1.5

在e2 studio中的configuration.xml中的stack部分Properties页面中Data Shipper/Data Collector/General/Frame Buffer Length,可以设置MCU采集数据时的滑动窗口大小。


本实验滑动窗口的设置是512。


1.6

当数据分段完成后,点击左侧AI Explore->Classes。


1.7

点击先前创建的amr_512_50_percent_overlap。再点击界面下部的Start exploring。


此时,模型正在生成中。模型生成的过程中,允许退出系统或者进行其他操作。这些操作并不会中断或者影响模型生成。 


1.8

大概等待10~25分钟左右后,模型生成完成,模型生成时长与训练数据大小有关。


如何选择适合自己的模型呢?主要关注Complexity和KFold Accuracy两个指标。


点击Complexity列的三角图标,它显示当前模型的相关参数。


  • X Operations表示模型运行中的MAC(乘累加)操作数量。

  • RAM表示模型运行中所需RAM的大小。

  • Storage(FLASH/ROM)表示模型运行中所需FLASH的大小。


注意:上述的RAM和FLASH的数值,是以云端服务器硬件平台为基准显示的,仅供参考。部署到实际项目中的MCU/MPU平台中的RAM和FLASH的数值,可能会与这个不同。


KFold Accuracy表示K折交叉验证的模型精度。交叉验证的基本思想是将原始数据集分成多个部分,一部分当作训练集,另一部分作为验证集。先用训练集对算法模型进行训练,再用验证集测试训练得到的算法模型,反复利用这些部分进行模型的训练和验证。Overall %表示本模型的整体精度,数值越高越好,Worst %表示本模型的最差精度,数值越高越好。


点击图中“Create Base Tool”,来生成嵌入式端的模型。


注意:Reality AI Tools会生成许多模型,点击右下角的” Show more results” 可以看到被折叠隐藏的更多模型。


1.9

使用默认的名称,或者输入模型名称和描述。点击“Add”。


1.10

现在开始创建嵌入式端侧部署模型,按照如下步骤:

  • 点击Deploy->Embedded。

  • 点击Trained Tool Description list。

  • 点击 +New Package。


1.11

输入DeployName,这个名字就是待会生成的API的前缀。在Inputs中的Data type中选择float32(float)。因为采集的数据是float32类型的。中间的outputs区域,显示了API的输出类型和含义。右侧的Build Options涵盖目标设备类型(目前RA6E2没有在列表清单中,暂时选择RA6E1),FPU类型选择M33 FPU,hard fp abi,Toolchain选择GNU GCC 13.2.1,优化类型选择Speed。


点击Generate New Package,创建模型。


1.12

此时,可以看见右侧的Download显示

表示模型生成中。


大概10~25分钟左右。

等到右侧的Download显示

模型生成完成

点击

下载模型文件。


1.13

生成的模型文件名称为amr.zip,里面一共有9个文件,

  1. README.txt和model_info.xml是模型相关的信息,包括占用的ROM和RAM信息等。

  2. librai_edsp_f32_arm.a是库文件。

  3. example_classifier.c是模型调用的例子代码,实际使用的时候,不需要添加到工程中。

  4. 其余5个文件是模型相关的.c和.h文件。


将上述的librai_edsp_f32_arm.a,amr_model.c,amr_model.h,RealityAI.h,RealityAI_Config.h,RealityAI_Types.h文件复制到Asset Tracking工程中的src/rai文件夹中。


1.14

在hal_entry.c中添加#include "amr_model.h"。


同时把hal_entry.c中的宏定义

#define DATA_COLLECTION_EN     (1)

修改成

#define DATA_COLLECTION_EN    (0)

表示代码进入推理阶段。


1.15

点击图标

来编译工程。

本工程经过编译后,应改没有任何errors或者warnings。


1.16

点击按钮

启动调试并检查控制台中的内容是否成功建立了连接。


1.17

打开Debug文件中的FPBRA6E2_AMR_training.map文件。


搜索到.bss._SEGGER_RTT字段并复制红色框处地址。


注意:下图中的地址可能和实际的工程不相符,以自己手中的文件为准。


1.18

打开J-Link RTT-Viewer,点击File->Connect。


在弹出的窗口中,按照以下图片配置。注意,左下角的地址,输入的是上一步骤复制的地址,点击OK。


看到下面的Log输出框,表示连接成功。


1.19

点击Terminal 0标签页。


1.20

点击图标

两次

此时,程序正常运行起来。


如果在运行的工程中,发现程序停留在startup.c中Default_Handler中。


参考先前3.14步骤中下载的模型中的README.txt的Estimated Memory Utilization中的Parameters,Stack Usage和Pre-Allocated之和。还要考虑加上工程本身没有使用模型推理的代码的stack消耗。


这是工程的stack设定过小,导致堆栈溢出,从而进入Default_Handler。需要在configuration.xml->BSP->Properties->RA Common中的Main stack size(bytes)进行修改。


1.21

观察J-Link RTT Viewer中的打印信息。通过扔(10cm高处跌落)、摇晃、静止FPB-RA6E2。可以发现得到如下信息:

  • 红色表示FPB-RA6E2处于drop状态。

  • 黄色表示FPB-RA6E2处于shake状态。

  • 绿色表示FPB-RA6E2处于normal状态。


可以尝试采集更多类型动作数据,再次上传数据并训练,以便识别更多的动作。


需要产品及方案支持

请扫码登记


需要技术支持?

如您在使用瑞萨MCU/MPU产品中有任何问题,可识别下方二维码或复制网址到浏览器中打开,进入瑞萨技术论坛寻找答案或获取在线技术支持。

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/



1

END

1


推荐阅读

RA系列MCU自检代码使用介绍

RZ/T2M USB PVND与PyUSB通讯的应用样例(上)

RZ/T2M USB PVND与PyUSB通讯的应用样例(下)


更多精彩,敬请关注

需要产品及方案支持

请扫码登记


评论 (0)
  • 现阶段,Zigbee、Z-Wave、Thread、Wi-Fi与蓝牙等多种通信协议在智能家居行业中已得到广泛应用,但协议间互不兼容的通信问题仍在凸显。由于各协议自成体系、彼此割据,智能家居市场被迫催生出大量桥接器、集线器及兼容性软件以在不同生态的设备间构建通信桥梁,而这种现象不仅增加了智能家居厂商的研发成本与时间投入,还严重削减了终端用户的使用体验。为应对智能家居的生态割裂现象,家居厂商需为不同通信协议重复开发适配方案,而消费者则需面对设备入网流程繁琐、跨品牌功能阉割及兼容隐患等现实困境。在此背景
    华普微HOPERF 2025-04-17 17:53 121浏览
  •   无人机蜂群电磁作战仿真系统软件,是专门用于模拟、验证无人机蜂群在电磁作战环境中协同、干扰、通信以及对抗等能力的工具。下面从功能需求、技术架构、典型功能模块、发展趋势及应用场景等方面展开介绍:   应用案例   目前,已有多个无人机蜂群电磁作战仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机蜂群电磁作战仿真系统。这些成功案例为无人机蜂群电磁作战仿真系统的推广和应用提供了有力支持。   功能需求   电磁环境建模:模拟构建复杂多样的电磁环境,涵盖各类电磁干扰源与
    华盛恒辉l58ll334744 2025-04-17 16:49 148浏览
  •     爬电距离指的是两个带电体之间、带电体和大地之间,沿着绝缘材料表面的最短距离。与爬电距离有关的标准有IEC 61010-1。PCB设计方面,可以参照IPC-2221B。        (图源TI)    任何情况下,爬电距离不允许小于电气间隙。当绝缘材料是空气时,爬电距离可以和电气间隙相等。电气间隙的简介见协议标准第011篇。        一般情况下
    电子知识打边炉 2025-04-19 20:54 45浏览
  •     CTI是Comparative Tracking Indices的缩写,在GB 4207中被译作“比较追踪指数”,我认为还是“漏电起痕指数”更容易理解。    CTI表述了材料的绝缘特性——阻止不希望出现的电流。CTI的单位是V,在绝缘物表面添加一定量的电解液并施加电场,观察在绝缘物表面既不会持续产生火焰,也不会因为热、介质击穿、湿气或者污染物产生电弧放电留下痕迹(起痕)的最高电压。CTI的测量方法见IEC 60112 (GB 4207)。&nbs
    电子知识打边炉 2025-04-19 21:20 54浏览
  • 近日,全球6G技术与产业生态大会(简称“全球6G技术大会”)在南京召开。紫光展锐应邀出席“空天地一体化与数字低空”平行论坛,并从6G通信、感知、定位等多方面分享了紫光展锐在6G前沿科技领域的创新理念及在空天地一体化技术方面的研发探索情况。全球6G技术大会是6G领域覆盖广泛、内容全面的国际会议。今年大会以“共筑创新 同享未来”为主题,聚焦6G愿景与关键技术、安全可信、绿色可持续发展等前沿主题,汇聚国内外24家企业、百余名国际知名高校与科研代表共同商讨如何推动全行业6G标准共识形成。6G迈入关键期,
    紫光展锐 2025-04-17 18:55 202浏览
  •   无人机蜂群电磁作战仿真系统全解析   一、系统概述   无人机蜂群电磁作战仿真系统是专业的仿真平台,用于模拟无人机蜂群在复杂电磁环境中的作战行为与性能。它构建虚拟电磁环境,模拟无人机蜂群执行任务时可能遇到的电磁干扰与攻击,评估作战效能和抗干扰能力,为其设计、优化及实战应用提供科学依据。   应用案例   目前,已有多个无人机蜂群电磁作战仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机蜂群电磁作战仿真系统。这些成功案例为无人机蜂群电磁作战仿真系统的推广和应用提
    华盛恒辉l58ll334744 2025-04-17 16:29 166浏览
  •   无人机电磁环境效应仿真系统:深度剖析   一、系统概述   无人机电磁环境效应仿真系统,专为无人机在复杂电磁环境下的性能评估及抗干扰能力训练打造。借助高精度仿真技术,它模拟无人机在各类电磁干扰场景中的运行状态,为研发、测试与训练工作提供有力支撑。   应用案例   目前,已有多个无人机电磁环境效应仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机电磁环境效应仿真系统。这些成功案例为无人机电磁环境效应仿真系统的推广和应用提供了有力支持。   二、系统功能  
    华盛恒辉l58ll334744 2025-04-17 15:51 150浏览
  • 一、行业背景与需求智能门锁作为智能家居的核心入口,正从单一安防工具向多场景交互终端演进。随着消费者对便捷性、安全性需求的提升,行业竞争已从基础功能转向成本优化与智能化整合。传统门锁后板方案依赖多颗独立芯片(如MCU、电机驱动、通信模块、语音模块等),导致硬件复杂、功耗高、开发周期长,且成本压力显著。如何通过高集成度方案降低成本、提升功能扩展性,成为厂商破局关键。WTVXXX-32N语音芯片通过“单芯片多任务”设计,将语音播报、电机驱动、通信协议解析、传感器检测等功能整合于一体,为智能门锁后板提供
    广州唯创电子 2025-04-18 09:04 185浏览
  • 一、行业背景与需求随着智能化技术的快速发展和用户对便捷性需求的提升,电动车行业正经历从传统机械控制向智能交互的转型。传统电动车依赖物理钥匙、遥控器和独立防盗装置,存在操作繁琐、功能单一、交互性差等问题。用户期待通过手机等智能终端实现远程控制、实时数据监控及个性化交互体验。为此,将蓝牙语音芯片集成至电动车中控系统,成为推动智能化升级的关键技术路径。二、方案概述本方案通过在电动车中控系统中集成WT2605C蓝牙语音芯片,构建一套低成本、高兼容性的智能交互平台,实现以下核心功能:手机互联控制:支持蓝牙
    广州唯创电子 2025-04-18 08:33 196浏览
  • 1. 在Ubuntu官网下载Ubuntu server  20.04版本https://releases.ubuntu.com/20.04.6/2. 在vmware下安装Ubuntu3. 改Ubuntu静态IP$ sudo vi /etc/netplan/00-installer-config.yaml# This is the network config written by 'subiquity'network:  renderer: networkd&nbs
    二月半 2025-04-17 16:27 156浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦