在全面数字化的时代背景下,我们周围的视觉显示技术已发展至成熟阶段,但触觉反馈技术仍处于起步阶段。如何弥合触觉技术与现实世界之间的差距,在各类物理表面上实现环境触觉反馈,成为人机交互领域面临的重大挑战。
图1 从环境视觉显示到环境触觉显示
据麦姆斯咨询报道,近期,北京航空航天大学虚拟现实技术与系统全国重点实验室王党校教授团队在npj Flexible Electronics期刊上发表了一篇题为“Active electronic skin: an interface towards ambient haptic feedback on physical surfaces”的研究文章,详细介绍了主动电子皮肤(Active electronic skin,AE-Skin)的概念、关键技术、潜在应用及未来发展。主动电子皮肤旨在用于随时随地提供触觉反馈,感知人类的交互动作,从而有效减轻交互负担,促进自然流畅的人机交互。主动电子皮肤这一创新的概念将推动环境触觉领域的发展,助力触觉技术与物理和数字环境实现无缝融合。
主动电子皮肤概念及基本特性
电子皮肤(E-skin)是一种具备类人感知能力的人造皮肤,它能够赋予交互设备卓越的感知能力,从而对用户交互信息进行监测。现有的电子皮肤仅限于触觉感应能力,无法为用户提供触觉反馈,因此无法实现高保真、自然和双向的触觉交互体验。理想的交互模式应该为用户提供一个能够感知所有物体的智能交互空间。为了构建这样一个智能交互空间,开发下一代智能触觉装置,即主动电子皮肤,将成为关键。
主动电子皮肤具备三大基本特性:丰富性(多模态触觉刺激)、交互性(双向传感和执行能力)、隐蔽性(透明、超薄、柔韧和可伸缩)。通过在物理表面部署这种电子皮肤,可以实现动态、多功能的多模态触觉显示和触觉传感。
图2 主动电子皮肤为人体皮肤和物理表面提供触觉交互界面
主动电子皮肤的“杀手级”应用
主动电子皮肤的应用可根据其贴附不同物体的能力分为两大类。第一类是将主动电子皮肤应用于家具、汽车和展品等实物表面。通过为这些物体赋予“情感”,主动电子皮肤让它们变得栩栩如生,实现物理世界的数字化。第二类侧重于将主动电子皮肤应用于各类智能设备的表面,包括iPad、VR控制器和触觉手套等。通过赋予这些设备“物理化身”,推动数字世界的实体化。这两大类应用能让用户更自然、直观地与周围环境进行互动,从而获得更真实、沉浸的互动体验。
图3 主动电子皮肤的潜在应用
图4 用于智能家居的主动电子皮肤
图5 用于智能汽车的主动电子皮肤
图6 用于智能博物馆的主动电子皮肤
图7 用于触觉屏幕的主动电子皮肤
主动电子皮肤的关键技术
为了满足用户与物理世界或数字世界之间进行环境触觉交互的需求,主动电子皮肤需要能够提供多模态触觉刺激并准确反映用户的交互意图。要开发具有三大基本特性的高保真主动电子皮肤,必须考虑多项关键技术,包括多模态触觉显示、多维触觉传感以及材料和制造方法。在主动电子皮肤的设计过程中,需要根据交互场景选择所需的触觉模式(例如纹理、温度和振动)和传感信号(例如压力、应变和温度)。针对特定的触觉刺激或传感信号,采用适当的材料(例如响应材料和纳米材料)和制造方法(例如成型工艺、软光刻和3D打印)来制备相应的执行器或传感器。
图8 主动电子皮肤的关键技术
近年来,众多研究人员围绕这些目标,基于不同的材料和制造方法,开发出多种主动电子皮肤触觉装置,包括纹理显示装置、温度渲染装置、振动反馈装置和多维触觉传感装置等。
图9 纹理显示装置示例
图10 温度显示装置示例
图11 振动反馈装置示例
图12 具有不同转导机制的触觉传感器
未来研究课题及展望
随着功能材料、传感和执行技术以及制造工艺的不断发展和进步,各种用于显示纹理、振动和温度的类肤装置以及用于感应压力、应变和温度的类肤装置已经被开发出来。虽然这些进展令人鼓舞,但在利用主动电子皮肤实现环境触觉交互目标的道路上,仍需要克服许多重要挑战。
为了推动主动电子皮肤在环境触觉方面的应用,未来需要深入研究多个关键课题,包括人体皮肤的生理和心理感知机制、多模态触觉刺激的时空配准、传感单元与执行单元的集成,以及视觉与触觉显示的时空配准。鉴于技术的成熟度、潜在应用价值及社会影响,未来的发展目标应当细分为短期与长期目标。
从短期来看,重点需要在以下几方面取得突破:首先,进行用户研究,探索多模态触觉刺激如何影响感知阈值和触觉错觉;其次,最大限度地发挥现有执行器和传感器的潜力,提高其性能,减少误差;再次,优化执行器的空间布局和传感器间的配置,防止相互干扰;最后,确保多模态触觉刺激的时效性和准确性,使触觉刺激与实际交互场景保持一致。基于这些短期研究成果,有望开发出初步版本的主动电子皮肤,提供更身临其境、逼真的交互体验。
从长期来看,重点需要在以下几方面取得突破:在感知机制方面,需要建立生物力学模型,模拟分析手指接触物体时的力学传递和皮肤变形,并深入研究机械感受器的感知机制和神经信号的生化传输;在先进材料方面,需要探索具有高透明度、超薄性和高伸缩性的先进材料,同时开发新型柔性和大容量储能材料以应对能源消耗挑战;在虚拟现实应用方面,需要解决视觉与触觉的配准问题,减少信息不匹配,避免长时间使用造成的不良反应。通过解决这些长期挑战,将推动人机交互技术的进一步发展,带领人类进入一个全新的环境触觉世界。
论文信息:
https://doi.org/10.1038/s41528-024-00311-5
延伸阅读:
《触觉技术及市场-2022版》
《印刷和柔性传感器技术及市场-2024版》
《可穿戴技术及市场-2023版》
《电子皮肤贴片技术及市场-2022版》