探索虚拟与现实的边界：柔性应变传感器数据手套助力元宇宙时代

探索虚拟与现实的边界：柔性应变传感器数据手套助力元宇宙时代

 

元宇宙概念的兴起，引发了人们对可穿戴设备的广泛关注。基于柔性应变传感器的数据手套因其成本低、重量轻、直接和连续监测手指运动而受到研究人员的青睐。近日，西北工业大学和军事科学院国防科技创新研究院合作，在人机交互领域国际著名学术期刊International Journal of Human-Computer Interaction（IJHCI）发表论文，综述了基于柔性应变传感器的数据手套在虚拟世界中的手势交互。

文章首先比较了基于视觉传感器、表面肌电传感器、惯性传感器以及柔性应变传感器的四种不同方法在设计数据手套方面的优缺点，论证了基于柔性应变传感器的数据手套在元宇宙应用中的优势。随后，对比了国内外代表性商用数据手套，并介绍了基于柔性应变传感器的数据手套各模块的结构设计。最后，总结了手势识别在元宇宙中的应用和目前基于柔性应变传感器的数据手套存在的问题和发展前景。作者认为，基于柔性应变传感器的新型数据手套将产生变革性的影响，以实现精确、低延迟和沉浸式的元宇宙手势交互。

图1 人机交互是现实世界进入元世界的入口

 

可穿戴手势识别系统

近年来，伴随着计算机视觉、柔性应变传感器等技术的不断进步，新型手势识别技术相继涌现，穿戴不便、设备复杂等问题正在得到解决。手势识别作为人机交互的关键内容之一，处于快速发展阶段。目前主流的手势识别关键技术包括视觉传感器、表面肌电信号传感器、惯性测量单元和柔性应变传感器。首先，基于视觉传感器的手势识别方法容易受到环境亮度的影响，不可避免地存在遮挡问题，从而导致错误的结果。其次，基于sEMG的手势识别方案并不成熟，识别的手势数量不多，大多在10个左右，准确性和稳定性不足。近年来，苹果、Meta和谷歌等公司都在布局这种手势识别方案的开发。第三，数据手套作为另一种解决方案，提供了高准确率（>90%）和低延迟（毫秒级），并具有触觉和力反馈的附加功能。其中，基于IMU的数据手套需要在手上的关键点放置刚性传感器，这影响了舒适感。而基于应变传感器的柔性数据手套不会受到环境亮度、遮挡或噪音的影响，可以提高识别精度，提供更好的稳定性和稳健性，降低成本，佩戴舒适。

图2 基于视觉传感器、柔性应变传感器、惯性传感器和表面肌电传感器的可穿戴手势识别系统是连接现实和虚拟世界的关键基础设施

 

手套系统的功能模块

基于柔性应变传感器的手套系统，最主要的三个部分是传感器、硬件威廉希尔官方网站 和手势识别算法。柔性应变传感器将手指弯曲程度转换为电信号，由硬件威廉希尔官方网站 对该模拟电信号进行放大、滤波等处理转换为数字信号，通过蓝牙或WIFI的方式送至PC系统，最后用手势识别算法将数据转换为手势结果并应用到相关领域。

图3 基于柔性应变传感器的手套系统的功能模块

 

手势识别算法

计算机接收到蓝牙模块传输的数字信号后，需要通过相应的手势识别算法，将数字信号转换为相应的手势。目前的手势识别分为两类，即静态手势识别和动态手势识别，文中分别列出了2种典型算法。静态手势识别的手势种类有限，一般是将接收到的数字信号进行分类，将其映射到包含有限种类的手势集上。动态手势识别相对比较复杂，它需要从一个连续的数据流中分割手势，即找出每个手势的起始时刻和结束时刻。虽然过渡动作没有实际意义，但是其持续时间随手势动作的不同而不同，所以手势分割的实现比较困难，目前仍是一个挑战。

图4 静态和动态手势识别的典型算法

 

手势识别的应用

目前，手势识别多应用在在手语解释、系统控制、运动监测以及运动康复等领域，如图5所示。

图5 手势识别的典型应用 (a) 将手势语言翻译成语音；(b) 通过手势控制黑暗中的四足机器人通过迷宫；(c) 手势控制机械臂远程核酸检测；(d) 通过手势进行镜像手康复训练

 

未来，元宇宙的最终实现，将不可避免地建立起用户以及其他物理对象在虚拟空间中的数字孪生体，用户本人将拥有一个与自己完全对应的虚拟数字人。这需要外部设备将实际用户的手势、身体动作和声音等完全映射到元宇宙中。因此，在将现实映射到虚拟世界的过程中，手势的识别和建模至关重要。同时，虚拟用户在元宇宙中感知到的触觉、视觉、温度和湿度信息，也需要通过可穿戴设备反馈给实际用户。高性能的数据手套具有手势识别、触觉反馈和动觉反馈的功能，能够实现现实世界和元宇宙之间的双向交互。

与基于视觉传感器、sEMG和IMU的数据手套相比，基于柔性应变传感器的数据手套在元宇宙的应用中具有精度高、佩戴舒适、价格低廉和给用户带来 "沉浸感"等独特优势。然而，目前发展还不够成熟，存在的实际问题主要包括：

1、柔性应变传感器普遍存在固有的滞后特性和长期运行的信号漂移问题；

2、威廉希尔官方网站 处理单元多基于刚性的威廉希尔官方网站 板，严重影响长期佩戴数据手套的舒适性；

3、数据手套中的每个柔性应变传感器都需要单独的电线与威廉希尔官方网站 处理模块连接；

4、大部分数据手套没有触觉或力反馈功能，用户的手部感觉无法从元宇宙中反馈到现实世界。

为了解决这些问题，我们认为未来需要重点关注以下4个方面：

1、 设计线性补偿威廉希尔官方网站 或开发补偿算法来补偿柔性应变传感器的非理想特性；

2、 通过可拉伸互连方式连接威廉希尔官方网站 元件并在结构中多层堆叠，提高威廉希尔官方网站 系统的灵活性；

3、 通过近场通信等方式实现柔性应变传感器和威廉希尔官方网站 处理单元之间的无线通信；

4、通过在数据手套的指尖区域集成小型执行器来实现触觉反馈，通过外部机械结构配合提供外力来实现力反馈。