探索虚拟与现实的边界：柔性应变传感器数据手套助力元宇宙时代

近年来，伴随着计算机视觉、柔性应变传感器等技术的不断进步，新型手势识别技术相继涌现，穿戴不便、设备复杂等问题正在得到解决。手势识别作为人机交互的关键内容之一，处于快速发展阶段。目前主流的手势识别关键技术包括视觉传感器、表面肌电信号传感器、惯性测量单元和柔性应变传感器。首先，基于视觉传感器的手势识别方法容易受到环境亮度的影响，不可避免地存在遮挡问题，从而导致错误的结果。其次，基于sEMG的手势识别方案并不成熟，识别的手势数量不多，大多在10个左右，准确性和稳定性不足。近年来，苹果、Meta和谷歌等公司都在布局这种手势识别方案的开发。第三，数据手套作为另一种解决方案，提供了高准确率（>90%）和低延迟（毫秒级），并具有触觉和力反馈的附加功能。其中，基于IMU的数据手套需要在手上的关键点放置刚性传感器，这影响了舒适感。而基于应变传感器的柔性数据手套不会受到环境亮度、遮挡或噪音的影响，可以提高识别精度，提供更好的稳定性和稳健性，降低成本，佩戴舒适。

基于柔性应变传感器的手套系统，最主要的三个部分是传感器、硬件电路和手势识别算法。柔性应变传感器将手指弯曲程度转换为电信号，由硬件电路对该模拟电信号进行放大、滤波等处理转换为数字信号，通过蓝牙或WIFI的方式送至PC系统，最后用手势识别算法将数据转换为手势结果并应用到相关领域。

计算机接收到蓝牙模块传输的数字信号后，需要通过相应的手势识别算法，将数字信号转换为相应的手势。目前的手势识别分为两类，即静态手势识别和动态手势识别，文中分别列出了2种典型算法。静态手势识别的手势种类有限，一般是将接收到的数字信号进行分类，将其映射到包含有限种类的手势集上。动态手势识别相对比较复杂，它需要从一个连续的数据流中分割手势，即找出每个手势的起始时刻和结束时刻。虽然过渡动作没有实际意义，但是其持续时间随手势动作的不同而不同，所以手势分割的实现比较困难，目前仍是一个挑战。

目前，手势识别多应用在在手语解释、系统控制、运动监测以及运动康复等领域，如图5所示。

未来，元宇宙的最终实现，将不可避免地建立起用户以及其他物理对象在虚拟空间中的数字孪生体，用户本人将拥有一个与自己完全对应的虚拟数字人。这需要外部设备将实际用户的手势、身体动作和声音等完全映射到元宇宙中。因此，在将现实映射到虚拟世界的过程中，手势的识别和建模至关重要。同时，虚拟用户在元宇宙中感知到的触觉、视觉、温度和湿度信息，也需要通过可穿戴设备反馈给实际用户。高性能的数据手套具有手势识别、触觉反馈和动觉反馈的功能，能够实现现实世界和元宇宙之间的双向交互。

与基于视觉传感器、sEMG和IMU的数据手套相比，基于柔性应变传感器的数据手套在元宇宙的应用中具有精度高、佩戴舒适、价格低廉和给用户带来 "沉浸感"等独特优势。然而，目前发展还不够成熟，存在的实际问题主要包括：

1、柔性应变传感器普遍存在固有的滞后特性和长期运行的信号漂移问题；

2、电路处理单元多基于刚性的电路板，严重影响长期佩戴数据手套的舒适性；

3、数据手套中的每个柔性应变传感器都需要单独的电线与电路处理模块连接；

4、大部分数据手套没有触觉或力反馈功能，用户的手部感觉无法从元宇宙中反馈到现实世界。

为了解决这些问题，我们认为未来需要重点关注以下4个方面：

1、 设计线性补偿电路或开发补偿算法来补偿柔性应变传感器的非理想特性；

2、 通过可拉伸互连方式连接电路元件并在结构中多层堆叠，提高电路系统的灵活性；

3、 通过近场通信等方式实现柔性应变传感器和电路处理单元之间的无线通信；

4、通过在数据手套的指尖区域集成小型执行器来实现触觉反馈，通过外部机械结构配合提供外力来实现力反馈。