综述:用于人形机器人纹理识别的触觉感知和机器学习

MEMS 2025-01-10 00:01

近年来,人形机器人引起了学术界和产业界的广泛关注。触觉感知是人形机器人与外界环境进行信息交换的核心传感技术之一,使得机器人能够实现物体识别、灵巧操作和刺激反应等类人行为。在机器人触觉应用中,物体识别和灵巧操作与物体表面形态密切相关,因此纹理识别成为一个重要的研究方向。

据麦姆斯咨询报道,近期,华中科技大学刘大彪教授等人在Interdisciplinary Materials期刊上发表了一篇题为“Recent Progress in Tactile Sensing and Machine Learning for Texture Perception in Humanoid Robotics”的综述文章,探讨了用于人形机器人纹理识别的触觉感知和机器学习的最新研究进展。该综述介绍了用于纹理识别的触觉传感器设计和工作原理,区分了基于触摸和基于滑动的两种纹理识别方法,讨论了实现纹理识别的机器学习算法,并分析了人形机器人纹理识别领域当前面临的挑战及未来发展机遇。


图1 人形机器人中基于触觉感知的纹理识别

一般而言,纹理识别涉及测量纹理表面的微观结构参数,或者依据物体表面纹理对不同材料进行分类。二者的关键区别在于目标是纹理参数值还是材料类型。为了实现纹理识别,人们已经开发出了多种触觉传感器,包括基于电阻式、电容式、磁式、视觉触觉式、光纤式、压电式、摩擦电式等原理的传感器。这些触觉传感器通常具有高空间分辨率或高采样率,以实现精准的纹理测量。根据机器人与物体接触的方式,触觉感知可分为基于触摸的方法和基于滑动的方法。

基于单点触摸的纹理识别

触觉传感器可以通过对物体进行单点触摸,依据压力分布或接触面积来测量纹理。当触觉传感器按压在物体表面时,纹理会导致传感器表面产生不均匀的压力分布。


图2 基于单点触摸的纹理识别

通过单点触摸测量纹理的方法简单且直观。但是,捕捉纹理微观结构的形状特征及高度信息仍然具有一定挑战性。此外,此类方法往往局限于被按压区域的局部测量,不适用于大面积或远距离测量。

基于滑动的纹理识别

除了单点触摸之外,人形机器人还可以通过在物体上滑动指尖来感知纹理。在滑动过程中,法向力、摩擦力和振动是纹理识别需要监测的重要参数。根据所测力的类型,滑动方法可以分为四种情形:仅测量合力、仅测量法向力(或压力)、仅测量摩擦力,以及同时测量法向力和摩擦力。


图3 基于滑动的纹理识别

为了测量更多纹理参数,通常需要对触觉传感器进行精密设计、选材和制造,使其能够输出多个信号通道。能够解耦法向力和摩擦力的触觉传感器为探索更多纹理信息提供了极具前景的解决方案。

基于触摸纹理识别的机器学习

为了计算微观结构参数,通常需要使用诸如快速傅里叶变换(FFT)和主成分分析(PCA)等统计工具处理传感信号,之后再通过理论公式或经验公式进一步分析。对于材料类型分类而言,通常会采用机器学习算法,例如多层感知器(MLP)、支持向量机(SVM)、k近邻算法(kNN),以及各类神经网络,包括卷积神经网络(CNN)、循环神经网络(RNN)等。

对于基于单点触摸的纹理识别而言,机器学习模型的输入数据,通常是呈现为压力分布映射形式的触觉图像,或者是能够展示所接触物体表面形态的相机图像。在众多机器学习算法中,CNN以其在图像分析中的优异表现而被广泛应用,通常作为纹理识别的首选算法。


图4 基于触摸纹理识别的机器学习

大多数触觉识别方法仅限于对已触摸过并训练过的材料进行分类,无法识别未收集过触觉数据的未知材料。针对该问题,多模态零次学习算法提供了一种解决方案,该算法使用了结合变分自编码器(VAE)和生成对抗网络(GAN)的生成模型,弥补了两种模型各自的局限性,使得基于合成特征训练的分类器能够在没有先验触觉数据的情况下有效识别新材料。

基于滑动纹理识别的机器学习

当在有纹理的表面上滑动时,触觉传感器会生成时间序列数据,而非静态触觉图像。此时,分类前的关键步骤是将时间序列预处理成机器学习算法可接受的输入形式。最简单的方法是将传感信号截取为固定长度的数据序列,将其作为与时间无关的模型(例如全连接神经网络、SVM和一维CNN)的常规数据数组。


图5 基于滑动纹理识别的机器学习

然而,由于上述机器学习模型并未将时间作为特殊维度,这可能导致重要的触觉信息丢失,因为时间是单向的,在滑动过程中包含了历史线索。值得注意的是,循环神经网络(RNN)专门用于时间序列处理。例如,长短期记忆网络(LSTM)和门控循环单元(GRU)是使用触觉传感器进行纹理识别时常采用的RNN模型。LSTM的门控机制能有效处理序列数据,缓解梯度问题并提高分类准确性。

挑战与机遇

虽然人形机器人在基于触觉的纹理识别方面已经取得了显著进展,但该领域仍面临许多挑战。首先,现有的纹理识别应用主要集中在物体识别方面,针对灵巧操作的研究较少。其次,基于触觉的纹理识别主要依赖材料工程和计算技术,对底层接触力学的研究较少。第三,许多研究仅通过机器学习算法进行分类,而未对微观结构参数进行测量。虽然机器学习算法能够有效降低信号分析的复杂性,但缺乏对接触力学的理解将会限制机器人触觉感知技术的发展。因此,将接触力学、测量方法与机器学习相结合很有必要。

展望未来,触觉传感器对于开发人形机器人的前沿技术至关重要。与此同时,人形机器人对于基于触觉的纹理识别有着更为深入和迫切的需求。解决这些问题将加速仿生感知、机器人智能、电子皮肤、人机交互等新兴技术的发展,并进一步推动材料科学、实验力学、柔性电子学、人工智能等多学科的交叉融合。

论文信息:
https://doi.org/10.1002/idm2.12233

延伸阅读:
《触觉技术及市场-2024版》
《印刷和柔性传感器技术及市场-2024版》
《传感器技术及市场-2024版》
《机器人传感器技术及市场-2022版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论 (0)
  •   工业自动化领域电磁兼容与接地系统深度剖析   一、电磁兼容(EMC)基础认知   定义及关键意义   电磁兼容性(EMC),指的是设备或者系统在既定的电磁环境里,不但能按预期功能正常运转,而且不会对周边其他设备或系统造成难以承受的电磁干扰。在工业自动化不断发展的当下,大功率电机、变频器等设备被大量应用,现场总线、工业网络等技术也日益普及,致使工业自动化系统所处的电磁环境变得愈发复杂,电磁兼容(EMC)问题也越发严峻。   ​电磁兼容三大核心要素   屏蔽:屏蔽旨在切断电磁波的传播路
    北京华盛恒辉软件开发 2025-04-07 22:55 256浏览
  •     根据 IEC术语,瞬态过电压是指持续时间几个毫秒及以下的过高电压,通常是以高阻尼(快速衰减)形式出现,波形可以是振荡的,也可以是非振荡的。    瞬态过电压的成因和机理,IEC 60664-1给出了以下四种:    1. 自然放电,最典型的例子是雷击,感应到电力线路上,并通过电网配电系统传输,抵达用户端;        2. 电网中非特定感性负载通断。例如热处理工厂、机加工工厂对
    电子知识打边炉 2025-04-07 22:59 164浏览
  • HDMI从2.1版本开始采用FRL传输模式,和2.0及之前的版本不同。两者在物理层信号上有所区别,这就需要在一些2.1版本的电路设计上增加匹配电路,使得2.1版本的电路能够向下兼容2.0及之前版本。2.1版本的信号特性下面截取自2.1版本规范定义,可以看到2.1版本支持直流耦合和交流耦合,其共模电压和AVCC相关,信号摆幅在400mV-1200mV2.0及之前版本的信号特性HDMI2.0及之前版本采用TMDS信号物理层,其结构和参数如下:兼容设计根据以上规范定义,可以看出TMDS信号的共模电压范
    durid 2025-04-08 19:01 175浏览
  • 文/Leon编辑/cc孙聪颖‍转手绢、跳舞、骑车、后空翻,就在宇树、智元等独角兽企业率领“机器人大军”入侵短视频时,却有资本和科技大佬向此产业泼了一盆冷水。金沙江创投管理合伙人朱啸虎近日突然对人形机器人发难,他表示“最近几个月正在批量退出人形机器人公司”。“只是买回去做研究的,或者买回去做展示的,这种都不是我们意义上的商业化,谁会花十几万买一个机器人去干这些活?”朱啸虎吐槽。不过,朱啸虎的观点很快就遭到驳斥,众擎机器人的创始人、董事长赵同阳回怼道:“(朱啸虎)甚至问出了人形机器人在这个阶段有什么
    华尔街科技眼 2025-04-07 19:24 153浏览
  •   卫星图像智能测绘系统全面解析   一、系统概述   卫星图像智能测绘系统是基于卫星遥感技术、图像处理算法与人工智能(AI)技术的综合应用平台,旨在实现高精度、高效率的地理空间数据获取、处理与分析。该系统通过融合多源卫星数据(如光学、雷达、高光谱等),结合AI驱动的智能算法,实现自动化、智能化的测绘流程,广泛应用于城市规划、自然资源调查、灾害监测等领域。   应用案例   目前,已有多个卫星图像智能测绘系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润卫星图像智能测绘系统
    华盛恒辉l58ll334744 2025-04-08 15:04 105浏览
  • 在人工智能技术飞速发展的今天,语音交互正以颠覆性的方式重塑我们的生活体验。WTK6900系列语音识别芯片凭借其离线高性能、抗噪远场识别、毫秒级响应的核心优势,为智能家居领域注入全新活力。以智能风扇为起点,我们开启一场“解放双手”的科技革命,让每一缕凉风都随“声”而至。一、核心技术:精准识别,无惧环境挑战自适应降噪,听懂你的每一句话WTK6900系列芯片搭载前沿信号处理技术,通过自适应降噪算法,可智能过滤环境噪声干扰。无论是家中电视声、户外虫鸣声,还是厨房烹饪的嘈杂声,芯片均能精准提取有效指令,识
    广州唯创电子 2025-04-08 08:40 194浏览
  • 在万物互联时代,智能化安防需求持续升级,传统报警系统已难以满足实时性、可靠性与安全性并重的要求。WT2003H-16S低功耗语音芯片方案,以4G实时音频传输、超低功耗设计、端云加密交互为核心,重新定义智能报警设备的性能边界,为家庭、工业、公共安防等领域提供高效、稳定的安全守护。一、技术内核:五大核心突破,构建全场景安防基座1. 双模音频传输,灵活应对复杂场景实时音频流传输:内置高灵敏度MIC,支持环境音实时采集,通过4G模块直接上传至云端服务器,响应速度低至毫秒级,适用于火灾警报、紧急呼救等需即
    广州唯创电子 2025-04-08 08:59 159浏览
  •   物质扩散与污染物监测系统:环境守护的关键拼图   一、物质扩散原理剖析   物质扩散,本质上是物质在浓度梯度、温度梯度或者压力梯度等驱动力的作用下,从高浓度区域向低浓度区域迁移的过程。在环境科学范畴,物质扩散作为污染物在大气、水体以及土壤中迁移的关键机制,对污染物的分布态势、浓度动态变化以及环境风险程度有着直接且重大的影响。   应用案例   目前,已有多个物质扩散与污染物监测系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润物质扩散与污染物监测系统。这些成功案例为物质
    华盛恒辉l58ll334744 2025-04-09 11:24 66浏览
  • 文/郭楚妤编辑/cc孙聪颖‍伴随贸易全球化的持续深入,跨境电商迎来蓬勃发展期,物流行业 “出海” 成为不可阻挡的必然趋势。加之国内快递市场渐趋饱和,存量竞争愈发激烈。在此背景下,国内头部快递企业为突破发展瓶颈,寻求新的增长曲线,纷纷将战略目光投向海外市场。2024 年,堪称中国物流企业出海进程中的关键节点,众多企业纷纷扬帆起航,开启海外拓展之旅。然而,在一片向好的行业发展表象下,部分跨境物流企业的经营状况却不容乐观。它们受困于激烈的市场竞争、不断攀升的运营成本,以及复杂的国际物流环境,陷入了微利
    华尔街科技眼 2025-04-09 15:15 99浏览
  •     在研究Corona现象时发现:临界电压与介电材料表面的清洁程度有关。表面越清洁的介电材料,临界电压越高;表面污染物越多的地方,越容易“爬电”。关于Corona现象,另见基础理论第007篇。    这里说的“污染物”,定义为——可能影响介电强度或表面电阻率的固体、液体或气体(电离气体)的任何情况。    IEC 60664-1 (对应GB/T 16935.1-2023) 定义了 Pollution Degree,中文术语是“污染等
    电子知识打边炉 2025-04-07 22:06 118浏览
  • ## DL/T645-2007* 帧格式:* 帧起始字符:68H* 地址域:A0 A1 A2 A3 A4 A5* 帧起始字符:68H* 控制码:1字节* 主站:* 13H:请求读电能表通信地址* 11H:请求读电能表数据* 1CH:请求跳闸、合闸* 从站:* 91H:正常应答读电能表* 9CH:正常应答跳闸、合闸* 数据域长度:1字节* 数据域:DI0 DI1 DI2 DI3* 发送方:每字节+33H* 接收方:每字节-33H* 数据标识:* 电能量* 最大需量及发生时间* 变量* 事件记录*
    四毛打印店 2025-04-09 10:53 70浏览
  •   物质扩散与污染物监测系统软件:多领域环境守护的智能中枢   北京华盛恒辉物质扩散与污染物监测系统软件,作为一款融合了物质扩散模拟、污染物监测、数据分析以及可视化等多元功能的综合性工具,致力于为环境科学、公共安全、工业生产等诸多领域给予强有力的技术支撑。接下来,将从功能特性、应用场景、技术实现途径、未来发展趋势等多个维度对这类软件展开详尽介绍。   应用案例   目前,已有多个物质扩散与污染物监测系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润物质扩散与污染物监测系统。这
    华盛恒辉l58ll334744 2025-04-09 14:54 122浏览
  • 曾几何时,汽车之家可是汽车资讯平台领域响当当的“扛把子”。2005 年成立之初,它就像一位贴心的汽车小助手,一下子就抓住了大家的心。它不仅吸引了海量用户,更是成为汽车厂商和经销商眼中的“香饽饽”,广告投放、合作推广不断,营收和利润一路高歌猛进,2013年成功在纽交所上市,风光无限。2021年更是在香港二次上市,达到了发展的巅峰,当年3月15日上市首日,港股股价一度高达184.6港元,市值可观。然而,如今的汽车之家却陷入了困境,业务下滑明显。业务增长瓶颈从近年来汽车之家公布的财报数据来看,情况不容
    用户1742991715177 2025-04-07 21:48 117浏览
  • 文/Leon编辑/侯煜‍就在小米SU7因高速交通事故、智驾性能受到质疑的时候,另一家中国领先的智驾解决方案供应商华为,低调地进行了一场重大人事变动。(详情见:雷军熬过黑夜,寄望小米SU7成为及时雨)4月4日上午,有网友发现余承东的职务发生了变化,华为官网、其个人微博认证信息为“常务董事,终端BG董事长”,不再包括“智能汽车解决方案BU董事长”。余承东的确不再兼任华为车BU董事长,但并非完全脱离华为的汽车业务,而是聚焦鸿蒙智行。据悉,华为方面寻求将车BU独立出去,但鸿蒙智行仍留在华为终端BG部门。
    华尔街科技眼 2025-04-09 15:28 98浏览
  •   卫星图像智能测绘系统:地理空间数据处理的创新引擎   卫星图像智能测绘系统作为融合卫星遥感、地理信息系统(GIS)、人工智能(AI)以及大数据分析等前沿技术的综合性平台,致力于达成高精度、高效率的地理空间数据采集、处理与应用目标。借助自动化、智能化的技术路径,该系统为国土资源管理、城市规划、灾害监测、环境保护等诸多领域输送关键数据支撑。   应用案例   目前,已有多个卫星图像智能测绘系统在实际应用中取得了显著成效。例如,北京华盛恒辉北京五木恒润卫星图像智能测绘系统。这些成功案例为卫星
    华盛恒辉l58ll334744 2025-04-08 16:19 88浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦