基于图神经网络的可拉伸阵列肌电传感器,实现静态和动态手势识别

原创 MEMS 2023-04-19 00:00

随着基于人工智能(AI)算法的进步,表面肌电信号(sEMG)的手势识别精度不断提高。时空多通道sEMG信号大大增加了任何类型研究的数据量和可靠性。

据麦姆斯咨询报道,近日,韩国成均馆大学的研究人员开发了一种双极可拉伸sEMG电极阵列,其具有基于自注意力的图神经网络(GNN),可高精度地识别手势。该阵列被设计为在空间上覆盖骨骼肌,以获取18种不同手势的肌电信号(EMG)活动的区域采样数据。基于人工智能GNN的系统经过训练,可以识别静态和动态手势,准确率高达97%。此外,阵列传感器上的粘性补孔可实现类似皮肤的属性,如可拉伸性和水蒸气渗透性,并有助于传输稳定的EMG信号。此外,即使经过超过72小时的长期测试和10次以上的重复使用,识别准确度仍保持不变(~95%)。

在本项研究中,可拉伸多通道sEMG传感器系统的整体工作原理如下图所示。可拉伸sEMG传感器贴片被佩戴在人体模型的前臂周围,并且最上面有一个无线采集设备。前臂骨骼肌肉在神经激活下与皮肤上的多通道EMG传感器连接,以产生EMG信号。该信号由数据采集系统检测,并使用板载蓝牙技术进行无线传输,随着时间的推移,收集的原始sEMG数据集被转换为类似图像的表达形式,作为神经网络模型的输入数据,用于高精度手势识别系统。


用于静态和动态手势识别系统的带有GNN的可拉伸阵列sEMG传感器概念图

本项研究所开发的传感器有2 × 10个电极,其中8对(垂直于传感器设计的中性轴)用作双极电极(测量电极)来记录sEMG信号,其余4个电极用作参考电极(接地电极)以降低背景噪声。每个电极都是六方聚酰亚胺(PI)支撑的薄金属布局,具有基于Kirigami(一种剪纸艺术)的蛇形布线几何结构,称为Kirigami蛇形金属(KSM)电极。

不同手势对应的EMG信号的手势识别精度因阵列传感器的位置不同而不同。多次采集期间传感器位置的偏差会导致精度下降。这种变化主要归因于肌肉间的串扰,因此需要一个确定的传感器位置,以实现任何期望的操作目标。研究人员总共使用了18种手势,包括休息手势(1种)、静态手势(13种)和动态手势(4种)。为了找到对应于18种手势的阵列传感器在皮肤上的最佳位置,考虑了四个位置,并使用基于人工智能的图神经网络模型,根据手势识别精度,评估了皮肤上位置1-4中最适合的传感器位置。位置2表现出97.76±0.03%的最高准确度。传感器电极位置与不同类型的肌肉很好地对准,这可能是位置2具有高精度的原因。


面积sEMG传感器阵列,可连续实时监测前臂的各种静态和动态手势

为了确认sEMG传感器阵列的长期可用性,每24小时记录一次sEMG信号,实验观察到所有通道的原始sEMG信号在72小时内几乎没有变化,证明了阵列传感器的长期稳定性。同样,基于使用阵列传感器测量的sEMG信号,对可重用性测试进行了定性评估。该结果与长期可用性的结果相似,并证明了传感器在重复取下和佩戴循环下传输稳定EMG信号的鲁棒性。


通过记录18种手势的sEMG信号和图注意力网络,评估皮肤上可拉伸阵列传感器的长期可用性

总之,研究人员开发了一种大面积、可拉伸、双极sEMG传感器电极阵列,集成了板载蓝牙实时采集设备,用于sEMG信号的无线监测。研究人员同时报道了一种基于人工智能GNN的系统,该系统经过训练可以识别包括静态和动态手势在内的18种手势,平均准确率为97%。该传感器系统利用由可拉伸、粘性和透气的贴片支撑的可拉伸电极阵列来记录稳定的EMG信号,以实现长期可用性。sEMG阵列传感器由可拉伸的贴片机械支撑,提供了稳定的传感器性能,同时在长期可用性和重复可使用性下保持了几乎相同的手势识别精度。由于手势的快速准确识别,该系统可以实现从义肢到虚拟现实(VR)的高效控制应用。它甚至可能适用于手语,在手语中,视觉交流模式可以通过手势或手语进行,这种手势或手语通常由听力障碍者和聋人使用。

论文信息:
https://www.nature.com/articles/s41528-023-00246-3

延伸阅读:
《可穿戴技术及市场-2023版》
《可穿戴传感器技术及市场-2022版》
《电子皮肤贴片技术及市场-2022版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 80,000人到访的国际大展上,艾迈斯欧司朗有哪些亮点?感未来,光无限。近日,在慕尼黑electronica 2024现场,ams OSRAM通过多款创新DEMO展示,以及数场前瞻洞察分享,全面展示自身融合传感器、发射器及集成电路技术,精准捕捉并呈现环境信息的卓越能力。同时,ams OSRAM通过展会期间与客户、用户等行业人士,以及媒体朋友的深度交流,向业界传达其以光电技术为笔、以创新为墨,书写智能未来的深度思考。electronica 2024electronica 2024构建了一个高度国际
    艾迈斯欧司朗 2025-01-16 20:45 184浏览
  • 随着消费者对汽车驾乘体验的要求不断攀升,汽车照明系统作为确保道路安全、提升驾驶体验以及实现车辆与环境交互的重要组成,日益受到业界的高度重视。近日,2024 DVN(上海)国际汽车照明研讨会圆满落幕。作为照明与传感创新的全球领导者,艾迈斯欧司朗受邀参与主题演讲,并现场展示了其多项前沿技术。本届研讨会汇聚来自全球各地400余名汽车、照明、光源及Tier 2供应商的专业人士及专家共聚一堂。在研讨会第一环节中,艾迈斯欧司朗系统解决方案工程副总裁 Joachim Reill以深厚的专业素养,主持该环节多位
    艾迈斯欧司朗 2025-01-16 20:51 146浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 117浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 152浏览
  • 随着智慧科技的快速发展,智能显示器的生态圈应用变得越来越丰富多元,智能显示器不仅仅是传统的显示设备,透过结合人工智能(AI)和语音助理,它还可以成为家庭、办公室和商业环境中的核心互动接口。提供多元且个性化的服务,如智能家居控制、影音串流拨放、实时信息显示等,极大提升了使用体验。此外,智能家居系统的整合能力也不容小觑,透过智能装置之间的无缝连接,形成了强大的多元应用生态圈。企业也利用智能显示器进行会议展示和多方远程合作,大大提高效率和互动性。Smart Display Ecosystem示意图,作
    百佳泰测试实验室 2025-01-16 15:37 194浏览
  • 日前,商务部等部门办公厅印发《手机、平板、智能手表(手环)购新补贴实施方案》明确,个人消费者购买手机、平板、智能手表(手环)3类数码产品(单件销售价格不超过6000元),可享受购新补贴。每人每类可补贴1件,每件补贴比例为减去生产、流通环节及移动运营商所有优惠后最终销售价格的15%,每件最高不超过500元。目前,京东已经做好了承接手机、平板等数码产品国补优惠的落地准备工作,未来随着各省市关于手机、平板等品类的国补开启,京东将第一时间率先上线,满足消费者的换新升级需求。为保障国补的真实有效发放,基于
    华尔街科技眼 2025-01-17 10:44 203浏览
  • 电竞鼠标应用环境与客户需求电竞行业近年来发展迅速,「鼠标延迟」已成为决定游戏体验与比赛结果的关键因素。从技术角度来看,传统鼠标的延迟大约为20毫秒,入门级电竞鼠标通常为5毫秒,而高阶电竞鼠标的延迟可降低至仅2毫秒。这些差异看似微小,但在竞技激烈的游戏中,尤其在对反应和速度要求极高的场景中,每一毫秒的优化都可能带来致胜的优势。电竞比赛的普及促使玩家更加渴望降低鼠标延迟以提升竞技表现。他们希望通过精确的测试,了解不同操作系统与设定对延迟的具体影响,并寻求最佳配置方案来获得竞技优势。这样的需求推动市场
    百佳泰测试实验室 2025-01-16 15:45 304浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 54浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 114浏览
  • 百佳泰特为您整理2025年1月各大Logo的最新规格信息,本月有更新信息的logo有HDMI、Wi-Fi、Bluetooth、DisplayHDR、ClearMR、Intel EVO。HDMI®▶ 2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新规范将支持更高的分辨率和刷新率,并提供更多高质量选项。更快的96Gbps 带宽可满足数据密集型沉浸式和虚拟应用对传输的要求,如 AR/VR/MR、空间现实和光场显示,以及各种商业应用,如大型数字标牌、医疗成像和
    百佳泰测试实验室 2025-01-16 15:41 189浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 81浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦