基于增强触觉感知和触觉反馈指环的人机交互，实现沉浸式社交体验

原创 MEMS 2022-09-17 00:00

【50份好礼】首发直播：解密Keysight最新模拟信号源 精密双向电流感应放大器设计方案

据麦姆斯咨询报道，近日，新加坡国立大学Chengkuo Lee教授团队提出了一种具有多模态传感和反馈功能的增强触觉感知和触觉反馈指环（augmented tactile-perception and haptic-feedback rings，ATH指环）。通过融合多模态传感和反馈功能，成功构建了具有跨空间感知能力的交互式“元宇宙（Metaverse）”平台，给人一种面对面的沉浸式虚拟社交体验。

基于ATH指环的智能系统，具有多模态传感和反馈功能

新提出的“元宇宙”概念是指利用虚拟现实（VR）技术增强真实空间和网络空间之间联系的3D虚拟世界网络。基于VR技术的数字化世界可以通过模拟人的感觉为用户带来与现实交互的沉浸式体验，在社交、教育、游戏、培训、康复等领域显示出巨大的发展前景。为了建立沉浸式虚拟现实系统，除了通过头戴式显示器实现视觉刺激外，其他可同时感知人体运动和模拟人体感觉的可穿戴设备（例如数据手套、VR套装等）最近也受到了极大关注，以进一步连接物理世界和网络世界。

手部的感觉和运动神经比其他身体部位更复杂，使其手指可以高度灵活地在VR系统中实现复杂的交互。目前成熟的手指运动跟踪传感技术包括传统的基于相机和惯性测量单元的刚性解决方案，以及基于电阻率、电容性和光纤等机制的使用可拉伸和柔性材料的柔性解决方案。为了进一步降低设备功耗，自供电传感机制在开发长期可持续的便携式系统方面也显示出独特的优势。其中，基于摩擦电的传感技术具有材料选择多样、制造工艺简单、成本低、自发信号等优点，为开发具有极低功耗的高度灵活的手指感知系统提供了新的可能性。

可穿戴驱动系统也是增强虚拟世界中交互体验不可或缺的部分，并且已经开发了各种机制以实现触觉感知。然而，当前大多数用于VR传感/反馈设备的可穿戴解决方案是基于手套的，结构复杂，且需要大的外部驱动电源。高度集成的多功能环形机械手，具有紧凑设计、自供电传感器和低压驱动反馈单元，与物联网（IoT）便携式平台完全兼容，可在VR应用中长期使用。

基于此，研究人员设计了一种用于VR应用的ATH指环，其包括用于连续弯曲传感的摩擦纳米发电（TENG）触觉传感器、用于温度检测的柔性热电传感器、用于振动触觉反馈的偏心旋转质量（eccentric rotating mass，ERM）振动器以及用于热触觉反馈的镍铬合金（NiCr）金属线。所有传感器和触觉模拟器都集成到ATH指环中，通过导线连接到无线物联网模块。与其他基于手套的解决方案相比，这种具有多模态传感和反馈功能的ATH指环显示出高度集成和良好便携性的优点。此外，ATH指环通过自供电传感单元和低压驱动反馈元件来实现低功耗。所提出的基于电压积分的信号处理方法允许基于TENG传感器的连续手指运动检测。通过利用物联网模块和机器学习（ML）分析进行信号收集和处理，能够以低成本为工业自动化和医疗保健应用实现高级人机交互，即机器人协作操作和手语翻译。此外，通过引入由振动和热模拟器实现的触觉反馈功能，可以实现具有真实世界和虚拟世界交互感知的增强VR聊天应用，这为用户提供了面对面的沉浸式体验，并显示了基于元宇宙的社交网络的良好发展前景，特别是考虑到新冠疫情下严格的社交距离要求。

与物联网平台兼容的增强多模态触觉反馈系统

基于此AI增强的多模态传感和反馈系统，成功构建了一个为用户提供跨空间感知能力的交互式元宇宙平台，其中，一个用户的真实空间中的对象可以被识别并重建为虚拟格式，并通过模拟刺激和反馈被同一元宇宙虚拟空间中的另一个用户实时远程感知，给人们一种面对面的沉浸式虚拟社交体验。在元宇宙基础设施下，未来致力于通过将VR显示技术与多模态体感融合，实现全身感知和反馈，构建智能虚拟社会，以实现智能互动的社交、教育、娱乐和医疗保健等。