综述:用于人形机器人纹理识别的触觉感知和机器学习

MEMS 2025-01-10 00:01

近年来,人形机器人引起了学术界和产业界的广泛关注。触觉感知是人形机器人与外界环境进行信息交换的核心传感技术之一,使得机器人能够实现物体识别、灵巧操作和刺激反应等类人行为。在机器人触觉应用中,物体识别和灵巧操作与物体表面形态密切相关,因此纹理识别成为一个重要的研究方向。

据麦姆斯咨询报道,近期,华中科技大学刘大彪教授等人在Interdisciplinary Materials期刊上发表了一篇题为“Recent Progress in Tactile Sensing and Machine Learning for Texture Perception in Humanoid Robotics”的综述文章,探讨了用于人形机器人纹理识别的触觉感知和机器学习的最新研究进展。该综述介绍了用于纹理识别的触觉传感器设计和工作原理,区分了基于触摸和基于滑动的两种纹理识别方法,讨论了实现纹理识别的机器学习算法,并分析了人形机器人纹理识别领域当前面临的挑战及未来发展机遇。


图1 人形机器人中基于触觉感知的纹理识别

一般而言,纹理识别涉及测量纹理表面的微观结构参数,或者依据物体表面纹理对不同材料进行分类。二者的关键区别在于目标是纹理参数值还是材料类型。为了实现纹理识别,人们已经开发出了多种触觉传感器,包括基于电阻式、电容式、磁式、视觉触觉式、光纤式、压电式、摩擦电式等原理的传感器。这些触觉传感器通常具有高空间分辨率或高采样率,以实现精准的纹理测量。根据机器人与物体接触的方式,触觉感知可分为基于触摸的方法和基于滑动的方法。

基于单点触摸的纹理识别

触觉传感器可以通过对物体进行单点触摸,依据压力分布或接触面积来测量纹理。当触觉传感器按压在物体表面时,纹理会导致传感器表面产生不均匀的压力分布。


图2 基于单点触摸的纹理识别

通过单点触摸测量纹理的方法简单且直观。但是,捕捉纹理微观结构的形状特征及高度信息仍然具有一定挑战性。此外,此类方法往往局限于被按压区域的局部测量,不适用于大面积或远距离测量。

基于滑动的纹理识别

除了单点触摸之外,人形机器人还可以通过在物体上滑动指尖来感知纹理。在滑动过程中,法向力、摩擦力和振动是纹理识别需要监测的重要参数。根据所测力的类型,滑动方法可以分为四种情形:仅测量合力、仅测量法向力(或压力)、仅测量摩擦力,以及同时测量法向力和摩擦力。


图3 基于滑动的纹理识别

为了测量更多纹理参数,通常需要对触觉传感器进行精密设计、选材和制造,使其能够输出多个信号通道。能够解耦法向力和摩擦力的触觉传感器为探索更多纹理信息提供了极具前景的解决方案。

基于触摸纹理识别的机器学习

为了计算微观结构参数,通常需要使用诸如快速傅里叶变换(FFT)和主成分分析(PCA)等统计工具处理传感信号,之后再通过理论公式或经验公式进一步分析。对于材料类型分类而言,通常会采用机器学习算法,例如多层感知器(MLP)、支持向量机(SVM)、k近邻算法(kNN),以及各类神经网络,包括卷积神经网络(CNN)、循环神经网络(RNN)等。

对于基于单点触摸的纹理识别而言,机器学习模型的输入数据,通常是呈现为压力分布映射形式的触觉图像,或者是能够展示所接触物体表面形态的相机图像。在众多机器学习算法中,CNN以其在图像分析中的优异表现而被广泛应用,通常作为纹理识别的首选算法。


图4 基于触摸纹理识别的机器学习

大多数触觉识别方法仅限于对已触摸过并训练过的材料进行分类,无法识别未收集过触觉数据的未知材料。针对该问题,多模态零次学习算法提供了一种解决方案,该算法使用了结合变分自编码器(VAE)和生成对抗网络(GAN)的生成模型,弥补了两种模型各自的局限性,使得基于合成特征训练的分类器能够在没有先验触觉数据的情况下有效识别新材料。

基于滑动纹理识别的机器学习

当在有纹理的表面上滑动时,触觉传感器会生成时间序列数据,而非静态触觉图像。此时,分类前的关键步骤是将时间序列预处理成机器学习算法可接受的输入形式。最简单的方法是将传感信号截取为固定长度的数据序列,将其作为与时间无关的模型(例如全连接神经网络、SVM和一维CNN)的常规数据数组。


图5 基于滑动纹理识别的机器学习

然而,由于上述机器学习模型并未将时间作为特殊维度,这可能导致重要的触觉信息丢失,因为时间是单向的,在滑动过程中包含了历史线索。值得注意的是,循环神经网络(RNN)专门用于时间序列处理。例如,长短期记忆网络(LSTM)和门控循环单元(GRU)是使用触觉传感器进行纹理识别时常采用的RNN模型。LSTM的门控机制能有效处理序列数据,缓解梯度问题并提高分类准确性。

挑战与机遇

虽然人形机器人在基于触觉的纹理识别方面已经取得了显著进展,但该领域仍面临许多挑战。首先,现有的纹理识别应用主要集中在物体识别方面,针对灵巧操作的研究较少。其次,基于触觉的纹理识别主要依赖材料工程和计算技术,对底层接触力学的研究较少。第三,许多研究仅通过机器学习算法进行分类,而未对微观结构参数进行测量。虽然机器学习算法能够有效降低信号分析的复杂性,但缺乏对接触力学的理解将会限制机器人触觉感知技术的发展。因此,将接触力学、测量方法与机器学习相结合很有必要。

展望未来,触觉传感器对于开发人形机器人的前沿技术至关重要。与此同时,人形机器人对于基于触觉的纹理识别有着更为深入和迫切的需求。解决这些问题将加速仿生感知、机器人智能、电子皮肤、人机交互等新兴技术的发展,并进一步推动材料科学、实验力学、柔性电子学、人工智能等多学科的交叉融合。

论文信息:
https://doi.org/10.1002/idm2.12233

延伸阅读:
《触觉技术及市场-2024版》
《印刷和柔性传感器技术及市场-2024版》
《传感器技术及市场-2024版》
《机器人传感器技术及市场-2022版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 218浏览
  • 嘿,咱来聊聊RISC-V MCU技术哈。 这RISC-V MCU技术呢,简单来说就是基于一个叫RISC-V的指令集架构做出的微控制器技术。RISC-V这个啊,2010年的时候,是加州大学伯克利分校的研究团队弄出来的,目的就是想搞个新的、开放的指令集架构,能跟上现代计算的需要。到了2015年,专门成立了个RISC-V基金会,让这个架构更标准,也更好地推广开了。这几年啊,这个RISC-V的生态系统发展得可快了,好多公司和机构都加入了RISC-V International,还推出了不少RISC-V
    丙丁先生 2025-01-21 12:10 907浏览
  •     IPC-2581是基于ODB++标准、结合PCB行业特点而指定的PCB加工文件规范。    IPC-2581旨在替代CAM350格式,成为PCB加工行业的新的工业规范。    有一些免费软件,可以查看(不可修改)IPC-2581数据文件。这些软件典型用途是工艺校核。    1. Vu2581        出品:Downstream     
    电子知识打边炉 2025-01-22 11:12 170浏览
  • 临近春节,各方社交及应酬也变得多起来了,甚至一月份就排满了各式约见。有的是关系好的专业朋友的周末“恳谈会”,基本是关于2025年经济预判的话题,以及如何稳定工作等话题;但更多的预约是来自几个客户老板及副总裁们的见面,他们为今年的经济预判与企业发展焦虑而来。在聊天过程中,我发现今年的聊天有个很有意思的“点”,挺多人尤其关心我到底是怎么成长成现在的多领域风格的,还能掌握一些经济趋势的分析能力,到底学过哪些专业、在企业管过哪些具体事情?单单就这个一个月内,我就重复了数次“为什么”,再辅以我上次写的:《
    牛言喵语 2025-01-22 17:10 220浏览
  • 高速先生成员--黄刚这不马上就要过年了嘛,高速先生就不打算给大家上难度了,整一篇简单但很实用的文章给大伙瞧瞧好了。相信这个标题一出来,尤其对于PCB设计工程师来说,心就立马凉了半截。他们辛辛苦苦进行PCB的过孔设计,高速先生居然说设计多大的过孔他们不关心!另外估计这时候就跳出很多“挑刺”的粉丝了哈,因为翻看很多以往的文章,高速先生都表达了过孔孔径对高速性能的影响是很大的哦!咋滴,今天居然说孔径不关心了?别,别急哈,听高速先生在这篇文章中娓娓道来。首先还是要对各位设计工程师的设计表示肯定,毕竟像我
    一博科技 2025-01-21 16:17 173浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 407浏览
  • 数字隔离芯片是一种实现电气隔离功能的集成电路,在工业自动化、汽车电子、光伏储能与电力通信等领域的电气系统中发挥着至关重要的作用。其不仅可令高、低压系统之间相互独立,提高低压系统的抗干扰能力,同时还可确保高、低压系统之间的安全交互,使系统稳定工作,并避免操作者遭受来自高压系统的电击伤害。典型数字隔离芯片的简化原理图值得一提的是,数字隔离芯片历经多年发展,其应用范围已十分广泛,凡涉及到在高、低压系统之间进行信号传输的场景中基本都需要应用到此种芯片。那么,电气工程师在进行电路设计时到底该如何评估选择一
    华普微HOPERF 2025-01-20 16:50 141浏览
  • 书接上回:【2022年终总结】阳光总在风雨后,启航2023-面包板社区  https://mbb.eet-china.com/blog/468701-438244.html 总结2019,松山湖有个欧洲小镇-面包板社区  https://mbb.eet-china.com/blog/468701-413397.html        2025年该是总结下2024年的喜怒哀乐,有个好的开始,才能更好的面对2025年即将
    liweicheng 2025-01-24 23:18 65浏览
  •  万万没想到!科幻电影中的人形机器人,正在一步步走进我们人类的日常生活中来了。1月17日,乐聚将第100台全尺寸人形机器人交付北汽越野车,再次吹响了人形机器人疯狂进厂打工的号角。无独有尔,银河通用机器人作为一家成立不到两年时间的创业公司,在短短一年多时间内推出革命性的第一代产品Galbot G1,这是一款轮式、双臂、身体可折叠的人形机器人,得到了美团战投、经纬创投、IDG资本等众多投资方的认可。作为一家成立仅仅只有两年多时间的企业,智元机器人也把机器人从梦想带进了现实。2024年8月1
    刘旷 2025-01-21 11:15 757浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 163浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 207浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 220浏览
  • 飞凌嵌入式基于瑞芯微RK3562系列处理器打造的FET3562J-C全国产核心板,是一款专为工业自动化及消费类电子设备设计的产品,凭借其强大的功能和灵活性,自上市以来得到了各行业客户的广泛关注。本文将详细介绍如何启动并测试RK3562J处理器的MCU,通过实际操作步骤,帮助各位工程师朋友更好地了解这款芯片。1、RK3562J处理器概述RK3562J处理器采用了4*Cortex-A53@1.8GHz+Cortex-M0@200MHz架构。其中,4个Cortex-A53核心作为主要核心,负责处理复杂
    飞凌嵌入式 2025-01-24 11:21 109浏览
  • 故障现象 一辆2007款日产天籁车,搭载VQ23发动机(气缸编号如图1所示,点火顺序为1-2-3-4-5-6),累计行驶里程约为21万km。车主反映,该车起步加速时偶尔抖动,且行驶中加速无力。 图1 VQ23发动机的气缸编号 故障诊断接车后试车,发动机怠速运转平稳,但只要换挡起步,稍微踩下一点加速踏板,就能感觉到车身明显抖动。用故障检测仪检测,发动机控制模块(ECM)无故障代码存储,且无失火数据流。用虹科Pico汽车示波器测量气缸1点火信号(COP点火信号)和曲轴位置传感器信
    虹科Pico汽车示波器 2025-01-23 10:46 101浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦