使用高分辨率表面肌电图和计算机视觉捕捉动态手指手势

摘要

该论文提出了一种全面的协议，用于在自然手指手势期间同时记录手部肌电图 （EMG） 和视觉手指跟踪。视觉数据旨在作为开发基于 EMG 的准确手指手势识别计算模型的基础事实。

摘要

手指手势是人类交流中的关键元素，因此，手指手势识别作为最先进的假肢和优化康复的人机界面被广泛研究。表面肌电图 （sEMG） 与深度学习方法相结合，被认为是该领域一种很有前途的方法。然而，目前的方法通常依赖于繁琐的记录设置和静态手部位置的识别，这限制了它们在实际应用中的有效性。我们在这里报告的协议提出了一种先进的方法，该方法结合了可穿戴表面 EMG 和手指跟踪系统，以在动态手部运动期间捕获综合数据。该方法记录放置在前臂上的软打印电极阵列（16 个电极）中的肌肉活动，因为受试者以不同的手部位置和运动方式执行手势。视觉指令提示受试者执行特定手势，同时记录 EMG 和手指位置。同步 EMG 记录和手指跟踪数据的集成能够全面分析肌肉活动模式和相应的手势。报告的方法展示了将 EMG 和视觉跟踪技术相结合的潜力，作为开发直观和响应式手势识别系统的重要资源，并应用于假肢、康复和交互技术。该协议旨在指导研究人员和从业者，促进手势识别在动态和真实场景中的进一步创新和应用。

引言

手势在人类交流中是必不可少的，这使得手势的识别成为人机交互、高级假肢 1,2,3,4 和康复技术 ^5,6 等领域的关键研究领域。因此，手指手势识别因其增强直观控制系统和辅助设备的潜力而受到广泛关注。表面肌电图 （sEMG） 与深度学习算法相结合，因其能够检测与手部运动相关的肌肉电活动而成为一种非常有前途的捕获和解释这些手势的方法 7,8,9,10,11,12,13,14,15。

然而，尽管取得了这些进步，但当前方法在实际应用中仍面临局限性。大多数现有系统需要复杂、繁琐的记录设置，包括大量电极^{5、7、9、16、17} 和精确定位^3、18，这通常很难在受控环境之外实施。此外，这些系统往往专注于静态的手部位置^{13、18、19、20、21}，限制了它们解释日常活动中发生的动态、流畅手势的能力。该协议旨在通过支持更自然条件下的动态手势识别来解决这些限制。这种方法将在假肢和康复等领域实现更实用和用户友好的应用，在这些领域中，实时、自然的手势解释是必不可少的。

为了应对这些挑战，开发更准确和适应性更强的算法需要反映自然日常条件的数据集 ^3,4。此类数据集必须捕获各种动态运动、各种手部位置和大量数据，以确保模型的稳健性。此外，训练数据集和测试数据集之间的差异至关重要，它允许模型在不同的手部姿势、肌肉激活模式和运动中泛化。将这种多样性纳入数据将使算法能够在日常、实际应用中更准确地执行手势识别²²。

克服这些挑战对于未来开发更实用和更广泛适用的手势识别系统至关重要。此处描述的研究和协议源于需要具有便携式、用户友好的设置，该设置可以在自然环境中捕捉动态手部运动。全面的数据集和先进的算法对于充分释放 sEMG 和深度学习在人机界面、神经修复学和康复技术中的潜力至关重要。我们预计该协议将通过促进全面的数据收集来为该领域做出贡献，以进一步促进跨不同手部位置推广的算法模型的开发。

手势识别的一个重大挑战在于 sEMG 信号对手部定位的敏感性。虽然许多研究侧重于用于手势预测的固定手部位置，但实际应用需要能够识别各种手部姿势的手指运动的模型。最近的方法通过将计算机视觉作为真值参考来解决这个问题，从而提高了这些模型的准确性和灵活性^15,19。此外，将 sEMG 信号与视觉数据相结合的混合模型进一步提高了不同场景的识别准确性²³。

在该协议中，我们提出了一种同步的数据收集方法，该方法通过在类似现实世界的条件下结合 EMG 和手部跟踪数据来增强动态手势识别。与将手势表现限制在静态位置的传统方法不同，该协议包括在四个不同位置执行的手势：手放下、举手、伸手和手部移动。手部跟踪摄像头跟踪三维交互区域内的手部运动，识别不同的手部元素并以高分辨率捕捉动态运动。放置在前臂上的由 16 个电极组成的软电极阵列用于记录肌肉活动，可在不妨碍参与者活动的情况下提供稳定的无线记录。来自这两个来源的同步数据为开发能够在实际条件下运行的高级手势识别算法提供了全面的基础。该方法通过促进现实场景中的自由移动和稳定的信号记录，专门解决了当前设置的局限性。这一进步支持手势识别技术，用于修复、康复和交互技术，在这些应用中，直观控制和灵活性是必不可少的。

研究方案

本研究招募了健康参与者（n = 18，年龄 18-32 岁，男性和女性），该研究已获得特拉维夫大学伦理审查委员会（批准号 0004877-3）的批准。该协议遵守委员会关于涉及人类参与者的研究指南。根据机构要求获得所有参与者的知情同意。

1. 实验者简报

1. 要求参与者执行一系列 14 个不同的手指手势（见 图 1），并以随机顺序重复每个手势 7 次。让他们牢牢地保持每个手势 5 秒，然后休息 3 秒。每节课的总持续时间为 13：04 分钟。
2. 计算机屏幕上显示的手势大图像伴随着一个倒数计时器，以指示手势性能。在休息期间，让参与者查看显示的即将到来的手势的小图像，以及指示剩余休息时间的计时器。两种不同的哔哔声表示每个手势的开始和结束，帮助参与者为下一个手势做好准备。
3. 要求每个参与者在四个不同的位置执行该程序，类似于之前介绍的²²：
   位置 1：参与者站立。手下、笔直、放松。
   位置 2：参与者坐在扶手椅上。手向前伸展 90°，手掌放松（可以使用支撑装置）。
   姿势 3：手向上折叠（肘部放在扶手椅上），手掌放松。
   位置 4：参与者选择之前的位置之一，并且可以在摄像机的检测范围内自由移动手部，并在 PC 屏幕上实时监控（有关详细信息，请参阅步骤 1.4）。
4. 对于每次会议，让参与者在手臂上佩戴肌电图设备，并将手部跟踪摄像头朝向他们放置。要求参与者确保他们的手掌始终面向摄像头。手势跟踪软件显示在单独的屏幕上，以便参与者和指挥员都可以验证手是否被正确识别。
5. 对于每个位置，调整手势跟踪摄像头的位置和角度，以确保准确的手势识别。此外，使用频谱图脚本评估来自电极的信号质量。

图 1：数据收集过程的示意图。 受试者在前臂 （3） 上配备了一个软电极阵列，该阵列在手势表演期间捕获高分辨率表面肌电图 （sEMG） 信号。受试者在计算机显示屏上以随机顺序执行 14 种不同的手指手势 （4）。EMG 数据从数据采集单元 （DAU; 1） 无线传输到个人计算机 （PC）。同时，使用手部跟踪相机 （2） 捕获代表手指关节角度的手部运动学数据 （HKD）。 请单击此处查看此图的较大版本。

2. 设置数据采集单元

1. 在 https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git 打开 Github 存储库，然后按照 Installation 部分中的详细说明进行作。在文件夹 finger_pose_estimation/data_acquisition 中找到主 Python 文件data_collection.py。使用此功能运行实验，使用脚本 spectrogram.py 在实验开始前评估 EMG 信号质量，并使用脚本data_analysis.py进行信号过滤和分割。
2. 确保 EMG 数据采集单元 （DAU） 在每次会话前都已充满电并打开它。
3. 使用专用应用程序通过蓝牙将 DAU 连接到 PC。将 Bluetooth 通信速率设置为每秒 500 个样本 （S/s）。
4. 在 PC 上安装并打开手部追踪相机的软件。使用电缆将手部跟踪相机连接到 PC。
5. 使用一个屏幕可始终显示手部跟踪相机软件。这样，指挥员和参与者将能够确保摄像头在实验过程中正确识别手部。

3. 参与者准备

1. 介绍和同意
   1. 向参与者简要解释研究的相关性和实验程序。按照涉及人类的研究的机构指南获得知情同意。
2. 电极放置
   1. 指导参与者形成一个有力的拳头，弯曲他们的右手。当参与者弯曲时，沿着肌肉轻轻按压来触诊前臂，以确定肌肉激活最突出的部位。通过感觉收缩过程中肌肉隆起的区域，很容易识别这个位置。
   2. 可选：使用不含酒精纤维的布、预制凝胶或水和肥皂清洁，以准备已识别的皮肤区域。让该区域风干。避免用酒精过度清洁，因为它可能会使皮肤干燥。此步骤是可选的;参见 讨论 部分。
   3. 从 EMG 电极阵列上撕下白色保护层，并小心地将电极连接到步骤 3.2.1 中确定的已识别的前臂区域。（参见 图 1）。确保胶带更靠近手掌。轻轻敲击将电极阵列固定在皮肤上。
   4. 将电极阵列连接到皮肤后，撕下透明支撑层。
   5. 将电极阵列连接器卡插入 DAU 的连接器插座。将 DAU 贴在电极旁边的胶带上。
   6. Spectrogram.py 运行自定义 Python 频谱图脚本以验证实时信号质量。将出现一个窗口，显示所有电极的原始数据（左侧）和频域（右侧）（参考参见 补充图 1 ）。
      1. 验证所有电极均被检测到并正常工作，以及信号是否没有过高的噪声和 50 Hz 噪声。
      2. 如果需要，请远离可能造成干扰的电子设备并从电源上拔下不必要的设备，从而降低 50 Hz 噪声。请留出时间让信号稳定下来。
      3. 验证 EMG 信号捕获：指导参与者将肘部放在扶手椅上并移动手指，然后放松。确保显示清晰的 EMG 信号，后跟静态基线噪声。
      4. 信号验证完成后关闭脚本。
3. 手势和手部位置检查
   1. 通过单击打开图像文件夹 Finger_pose_estimation > Data_acquisition.与参加者一起查看手势图像。
   2. 确保他们理解每个动作并能够准确执行。向参与者清楚地解释这四个手部位置。
   3. 在每次会话之前指导参与者如何握住手，确保正确的姿势和姿势。
4. 参与者和摄像头定位
   1. 对于手部位置 1，指示参与者在距离桌子约 1 m 的地方站直。指导参与者将右手伸直并放松，手掌面向手部追踪摄像头。用自拍杆将手部追踪摄像头固定在桌子上，并使其对准参与者的手。
   2. 对于手部位置 2，指示参与者舒适地坐在距离显示器 40-70 厘米的扶手椅上。指导参与者将右手向前伸展 90°，放松的手掌面向手部追踪摄像头。如果需要，请使用支撑装置保持手部稳定。将手部追踪摄像头面朝上放在桌子上。
      注意：由于要求参与者保持固定姿势，因此找到一个他们可以在整个训练过程中保持的舒适姿势非常重要。
   3. 对于手部位置 3，指示参与者按照步骤 3.4.2 中的说明坐下。指导参与者将手向上折叠，同时将肘部放在扶手椅上。手掌应放松，参与者应面对手部跟踪摄像头。将手部追踪摄像头固定在桌子上，面向参与者的手（必要时使用自拍杆）。确保参与者的位置最适合查看屏幕和处于摄像头的视野内。
   4. 持续监控显示手部跟踪数据的屏幕，以确保摄像头在整个实验过程中检测到手部和手指。可选：在开始实验之前，验证每个手位置的 EMG 信号质量（步骤 3.2.6）。

4. 数据收集

1. 运行实验
   1. 打开 Python 并加载 data_collection.py。验证参数 num_repetition、 gesture_duration rest_duration 是否根据需要设置。
      1. num_repetition：定义每个手势图像的显示次数。对于此实验，将其设置为 7，这意味着每张图像显示 7 次。gesture_duration：指定参与者执行手势的持续时间（以秒为单位）。对于此实验，请将其设置为 5 秒，以确定每个手势图像的显示时间。Rest_duration：指定参加者在手势之间放松手掌的持续时间（以秒为单位）。对于此实验，将其设置为 3 秒。
   2. 将手部跟踪摄像头位置和角度调整到参与者的手部位置。
   3. 运行 data_collection.py 脚本。将出现一个窗口，用于输入参与者的详细信息（序列号、年龄、性别、会话编号和手部位置）。填写此信息并按 OK 自动开始实验。
2. 数据采集
   1. 对于每个会话，记录自动保存的 EMG 和手部跟踪数据。对每个参与者重复实验 4 次，每个手部位置一次。

5. 实验结束和实验后数据处理

1. 实验完成后，数据会自动保存。确保将数据保存在标有参与者序列号的文件夹中。每个会话都存储在名为 S# 的子文件夹（例如 S1）中，每个手部位置 P#（P1、P2、P3 和 P4）都有四个子文件夹。单个会话的文件夹大小约为 160 MB。
2. 如果参与者完成了多个会话，请确保所有数据都保存在相应的会话文件夹中（例如 S1、S2）。
3. 数据文件
   确保每个手部位置文件夹 （P#） 都包含以下文件： 保存在 EDF 文件中的 EMG 数据，命名如下：fpe_pos{位置编号}_{受试者编号}_S{会话编号}_rep0_BT;保存在 CSV 文件中的手动跟踪数据，名为 fpe_pos{位置编号}_{主题编号}_S{会话编号}_rep0_BT_full;以及日志文件 log.txt，其中包含有关会话的元数据。
4. 数据处理
   注意：用户可以选择如何进行信号分析以及使用哪些工具。在这里，我们提供了一个用于在 Python 中执行信号过滤和数据分割的脚本。使用 Python 时，请确保已安装所有依赖项（例如 Numpy、Pandas、SciPy、MNE、Sklearn）。
   1. 打开 Python，加载 data_analysis.py 并运行脚本。
   2. 请求将出现在控制台中，以提供数据处理所需的参数：EMG 文件的路径、手部运动数据的路径、保存处理数据的路径、采样率（以 Hz 为单位）、窗口持续时间（以毫秒为单位）和步幅间隔（以毫秒为单位）。
   3. 在该步骤之后，脚本将执行数据处理。
   4. EMG 信号过滤：按上述方式运行脚本。该脚本首先通过应用截止频率为 20 Hz 的 4 阶巴特沃斯高通滤波器来过滤 sEMG 信号，以去除非 EMG 信号，然后应用陷波滤波器来去除 50 Hz 和 100 Hz 谐波。此外，脚本还应用了 EMG 信号的标准化。
   5. EMG、HKD 数据和指示手势分割：按上述方式运行脚本。该脚本利用由指定窗口持续时间和步幅间隔定义的滚动窗口技术应用分段。在本实验中，将它们分别设置为 512 毫秒和 2 毫秒。然后，该脚本将 sEMG 通道组织转换为 4 x 4 空间网格配置，同时保持电极阵列布局。最后，该脚本会生成一个包含元数据的字典作为 pickle 文件。
   6. 数据清理和验证步骤
      1. 从数据集中识别并排除包含伪影、噪音或不一致手势标签的片段。
      2. 确保跨窗口的分段完整性和时间连续性，以保持数据可靠性。
      3. 对照 HKD 交叉检查手势数据以确保一致性。删除显示偏离 HKD 会话标准的手势模式的窗口。
      4. 检测并丢弃不符合会话预期运动模式的异常段。
      5. 使用高级算法执行进一步的数据分析。当前协议中未提供这些。

结果

该数据集由两个时间同步组件组成：一个 16 通道 EMG 数据集和来自手部跟踪相机系统的数据。16 通道 EMG 数据通过记录来自不同肌肉随时间变化的电信号来捕捉肌肉活动。手部跟踪系统提供 16 个数据通道，对应于手部骨骼模型上的关键点。虽然该模型有 21 个点（不包括手腕），但由于运动约束 24 个，这个数字减少到¹⁶ 个。在记录过程中，通过在同一台计算机上运行两个单独的过程来收集 EMG 和视觉数据以建立同步性。时间戳用于标记每个过程的开始，允许数据分析代码在记录结束时对齐肌肉活动和手部运动数据。时间戳注释自动保存在 EDF 和 CSV 文件中，标记指示特定手指手势的确切时间，并有助于在数据分析期间进行对齐。滤波后的 EMG 信号（20 Hz 4 阶巴特沃斯高通滤波器）的特点是基线较低（灰色阴影区域），通常在 3-9 μV²⁵ 的范围内。当受试者的手静止且肌肉处于静止状态时，将观察到此基线。然而，如果即使在静止位置也存在肌张力，则可以检测到明显的 EMG 信号。由移动引起的机械伪影通常出现在 10-20 Hz 范围内，应相应地过滤掉。基线值显著升高可能表明存在 50 Hz 线路干扰，在实验设置阶段应避免使用。在中等 50 Hz 噪声持续存在的情况下;应用陷波滤波器。更难去除的尖锐运动伪影通常表现为信号中明显的高振幅尖峰（参见 图 2A 中的星号）。16 电极阵列上 EMG 信号的振幅变化，反映了肌肉活动在测量区域的空间分布。这种差异为手势期间肌肉收缩的异质性提供了有价值的见解。

手部追踪相机提供手指角度的直接信息（手部运动数据，HKD），预计这些信息与记录的 EMG 信号密切相关。在手势期间，手指角度在正常范围²⁶ 之间，具体取决于具体手势。当手部跟踪摄像头和手之间的视觉路径畅通无阻时，产生的信号是稳定和准确的，如图 2 所示。但是，在视觉接触丢失或系统遇到技术限制的情况下，HKD 可能会变得不稳定，显示错误值之间的跳跃。在数据收集过程中应尽量减少此类异常值数据，并在最终分析中丢弃，以保持结果的完整性。

HKD 非常直观，可与实际执行的手势进行直接比较。它在受试者之间和不同手部位置之间表现出较低的可变性。相比之下，由于手部大小和肌肉发育等解剖学差异，个体之间的 EMG 数据往往存在显着差异²⁷。此外，在惯用手和非惯用手之间可能会观察到差异。这种特定于主题的可变性可以在离线分析期间解决。

在 图 2 中，很明显 EMG 和 HKD 都相对于指示的手势触发器进行了偏移。这种差异是由于响应时间和自然运动执行²⁸ 引起的。在回归任务中，这种可变性可能有助于数据的丰富性，而在分类任务中，可以使用广义似然比方法进行管理，如在类似情景中应用的那样²⁸。

图 2：手指外展时代表性的 sEMG 和 HKD。 由单个参与者在手部位置 1（手放下、伸直和放松）期间进行动态手指外展和休息期间记录的表面肌电图 （sEMG） 信号和手部运动学数据 （HKD）。（A） 来自 16 个通道的 EMG 信号作为时间的函数。星号 （*） 表示在通道 5 的 EMG 记录中检测到的机械伪影。（B） HKD，显示关节角度随时间的变化。测量各种关节的关节角度：斜方掌骨 （TMC）、掌指 （MCP） 和近端指间 （PIP）。实验的阶段 （休息和外展） 沿 x 轴表示。 请单击此处查看此图的较大版本。

这些代表性结果证明了同步的 EMG 和 HKD 数据在捕捉手势方面的效用。肌电图信号与相应的 HKD 对齐，可以将肌肉活动映射到特定的手指运动。在构建预测模型时，研究人员可以使用 HKD 作为基本事实，迭代验证和完善基于 EMG 的手势预测。这种方法突出了该方案的实际适用性，并表明需要在更自然的环境中进行进一步研究。

补充图 1：信号验证步骤中显示的三维频谱图窗口。 左侧面板显示原始 EMG 数据，而右侧面板显示检测到的频域。（A） 具有 50 Hz 和 100 Hz 强烈干扰的非常嘈杂的 EMG 信号示例。（B） 将参与者远离电气设备后记录相同的 EMG 信号示例，从而产生干扰最小的干净 EMG 信号。 请点击此处下载此文件。

讨论

本研究中提出的协议概述了关键步骤、修改和故障排除策略，旨在通过结合 sEMG 信号和 HKD 来增强手势识别。它解决了关键局限性，并将这种方法与现有替代方案进行了比较，突出了其在各种研究领域的潜在应用。该协议最重要的方面之一是确保手部跟踪相机的正确定位和对齐。准确的手势捕捉在很大程度上取决于摄像头相对于参与者手的角度和距离。即使摄像头位置的微小偏差也可能导致跟踪不准确，从而降低手势数据的保真度。必须针对每个参与者和手部位置仔细调整这种对齐方式，以确保一致和可靠的数据收集。此外，参与者必须熟悉协议以防止垃圾数据 - 手势执行不正确或与实验流程不一致。确保参与者舒适并熟悉手势和实验设置可以最大限度地减少数据噪声并提高录音质量。

此类研究的一个常见挑战是 sEMG 和 HKD 中的噪声污染。sEMG 信号对肌肉疲劳、运动伪影和环境噪声（如电磁干扰）等因素特别敏感。带通滤波等预处理技术对于降低噪声和提高信号清晰度至关重要。正确的电极放置并指导参与者在休息阶段保持放松的肌肉可以进一步减轻运动伪影。尽管采取了这些预防措施，但由于解剖结构、手部力量和肌肉激活模式的个体差异，sEMG 信号的一些变化是不可避免的。这种可变性可以通过灵活的算法来解决，这些算法能够对受试者和条件之间的这些差异进行标准化。

获得高质量 sEMG 信号的一个关键因素是初始信号验证。使用凝胶电极的传统方案需要皮肤准备，例如去角质或用酒精清洁，以提高信号清晰度。然而，在之前的一项研究中，我们表明，使用干电极时，皮肤准备可能不会显着影响信号质量²⁵。在该协议中，皮肤清洁是可选的，从而简化了过程。另一个影响信号质量的皮肤相关问题是手臂毛发过多和浓密。在这种情况下，我们建议剃掉该区域或将受试者排除在研究之外。

使用 sEMG 进行手势识别的关键挑战之一是它对手部定位的敏感性。即使执行相同的手势，手部方向的变化也会导致不同的 EMG 信号模式。为了解决这个问题，能够适应手部位置变化的机器学习模型是必不可少的²².这些模型必须使用来自多个手部姿势的数据进行训练，以提高稳健性和泛化性。视觉和 sEMG 数据的同步是另一个重要的考虑因素。手势的一致计时对于避免手势执行和数据记录之间存在差异至关重要。该协议使用视觉倒计时和听觉提示来帮助确保在必要时采用准确的计时和重新校准步骤来纠正数据收集过程中的任何错位。

尽管有其优势，但该协议也有一些局限性。一个主要限制是手部跟踪摄像头的视野有限，这要求参与者的手保持在摄像头的检测范围内。这会将分析限制为一小部分移动。对于实验室外实验，将需要更复杂的视频成像或使用智能手套。参与者的疲劳也会在较长的会话中带来挑战，可能会影响手势准确性和肌肉激活，从而降低 sEMG 数据的质量。为了减轻这些影响，可能需要限制会话长度或引入休息时间以最大程度地减少疲劳。此外，电力线干扰会将噪声引入 sEMG 信号，尤其是当参与者靠近 PC 进行数据捕获时。该系统的无线版本可以通过允许参与者远离计算机来减少此类干扰。

基于 EMG 的手指手势检测的一个重大方法学局限性源于 sEMG 信号的高度受试者间变异性，这需要为每个参与者开发自定义模型。这种特定于主题的方法虽然更准确，但限制了协议的可扩展性，并且需要为每个新用户提供额外的校准和训练时间。由于双过程记录，EMG 和 HKD 数据流显示出微小的时间同步差异。这些计时差异对静态手势分析的影响很小，因为保持的姿势在时间上是稳定的。静态手势的持续性为 EMG 和运动学特征提供了足够的时间来稳定，这与动态手势不同，动态手势需要更精确的同步。

这种方法的一个关键优点是它在捕获手势方面的灵活性。与其他需要严格设置和严格手势参数的系统不同，该协议适用于动态和灵活的手部位置¹⁹。这种灵活性在旨在分析各种运动的研究中特别有用，使其更适用于实际应用。此外，与更先进的动作捕捉和 sEMG 系统相比，该协议具有成本效益，后者通常涉及复杂的设置²⁹。通过将手部跟踪相机与半自动 sEMG 算法集成，该方法为手势识别研究提供了一种可行的替代方案，而不会影响数据质量。此外，该系统的实时数据处理潜力为即时反馈提供了可能性，例如神经修复和康复，在这些应用中，实时响应性是必不可少的。该协议对多个领域具有重要意义，尤其是神经修复学。根据 sEMG 信号准确预测手势对于控制假肢至关重要，这种方法提供的手部定位灵活性使其成为实时假肢设备的理想选择。在康复中，该方案可用于监测和增强手部或手指损伤患者的运动恢复。通过分析手势表演过程中的肌肉激活模式，该系统可用于根据个人需求定制康复练习，提供个性化的运动恢复方法。对于人机交互 （HCI），该方法使基于手势的控制系统更加自然，提高了用户界面的直观性和有效性。最后，该方案可以应用于人体工程学研究，以评估不同的手部姿势和手势如何影响肌肉活动和疲劳，从而可能导致工作场所设计和用户人体工程学的进步。

为了确保参与者之间的收缩强度一致，未来的研究可以采用带有力敏电阻器的手套来直接测量力。这将允许跨受试者进行标准化工作，从而提高 EMG 数据的可靠性。此外，将此力测量值作为关节运动学中的标签集成将提供更详细的肌肉内部状态表示，从而可能丰富肌肉功能和运动模式的分析。这种方法不仅可以提高数据一致性，还可以更深入地了解肌肉收缩与关节运动之间的关系。

总之，该协议提供了一种新颖而灵活的手势识别方法，在神经假肢、康复、HCI 和人体工程学方面具有广泛的应用。尽管该系统存在局限性，但其灵活性、成本效益和实时使用潜力代表了对现有方法的重大进步。这些优势使其成为手势识别技术进一步发展和创新的有前途的工具。

材料

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT