在支持虚拟现实的脑机接口环境中通过具身数字孪生实现的运动图像性能

摘要

虚拟现实环境中的运动图像在脑机接口系统中有广泛的应用。这份手稿概述了个性化数字化身的使用，这些虚拟形象类似于参与者在虚拟现实环境中执行参与者想象的动作，以增强沉浸感和身体所有权感。

摘要

本研究通过将脑机接口 （BCI） 和虚拟现实 （VR） 技术与三维 （3D） 化身的定制相结合，引入了一种创新的神经康复框架。传统的康复方法往往无法让患者充分参与，主要是因为他们无法提供深度沉浸式和互动体验。本研究试图通过利用运动意象 （MI） 技术来填补这一空白，参与者可以在没有实际执行的情况下可视化身体运动。这种方法利用大脑的神经机制，在想象运动时激活参与运动执行的区域，从而促进恢复过程。VR 的沉浸式功能与脑电图 （EEG） 的精度相结合，以捕获和解释与想象运动相关的大脑活动，构成了该系统的核心。采用个性化 3D 虚拟形象形式的数字孪生来显着增强虚拟环境中的沉浸感。这种高度的体现感对于有效的康复至关重要，旨在加强患者与虚拟伴侣之间的联系。通过这样做，该系统不仅旨在提高运动想象性能，还寻求提供更具吸引力和更有效的康复体验。通过实时应用 BCI，该系统允许将想象的动作直接转化为 3D 虚拟形象执行的虚拟动作，从而向用户提供即时反馈。这个反馈回路对于加强运动控制和恢复所涉及的神经通路至关重要。开发的系统的最终目标是通过使运动意象练习更具交互性和对用户认知过程的反应性来显着提高运动意象练习的有效性，从而在神经康复领域铺平一条新道路。

引言

随着脑机接口 （BCI） 和沉浸式虚拟现实 （VR） 等先进技术的整合，神经损伤患者的康复模式正在发生变革性转变，为促进康复提供了一种更细致、更有效的方法。运动意象 （MI） 是基于 BCI 的康复的核心技术，涉及身体运动的心理排练，而没有实际的运动执行¹。MI 利用了一种神经机制，在这种机制中，想象一个动作会触发一种大脑活动模式，该模式与执行身体动作本身非常相似 ^2,3,4。具体来说，参与 MI 会导致大脑电活动的 alpha （8-13 Hz） 和 beta （13-25 Hz） 频带中出现一种称为事件相关不同步 （ERD）^{的现象 5,6,7}。ERD 表明基线脑节律受到抑制，在实际运动中也观察到这种模式，从而为 BCI 辅助康复框架内 MI 的使用提供了神经基础⁷。MI 和身体运动之间皮层激活的这种相似性表明，MI 可以有效地刺激参与运动控制的神经网络，使其成为运动缺陷患者的宝贵工具⁸。此外，MI 的实践已经扩展到单纯的心理排练之外，还包括行动观察策略⁹。观察他人与任务相关的身体部位或动作的运动可以激活镜像神经元网络 （MNN），这是一组对动作观察和执行都做出反应的神经元⁹。通过观察激活 MNN 已被证明可以诱导皮质可塑性，各种神经影像学模式证明了这一点，包括功能性 MRI¹⁰、正电子发射断层扫描¹¹ 和经颅磁刺激¹²。证据支持这样一种观点，即通过动作观察增强 MI 训练可以导致受影响个体显着的神经适应和恢复。

虚拟现实技术通过提供沉浸式环境来增强身体所有权并模糊现实世界和虚拟世界之间的区别，从而彻底改变了基于 MI 的康复领域 13,14,15。VR 的身临其境的质量使其成为动作观察和运动意象练习的有效工具，因为它允许参与者将虚拟环境感知为真实的¹⁵。研究表明，与传统的 2D 显示器相比，VR 设备对 MI 训练的影响更为明显^15,16。增强的神经活动证明了这些发现，例如感觉运动皮层中 ERD 振幅比的增加，突出了在视觉引导的 MI 练习期间，更高的浸入水平刺激大脑活动的好处¹⁶。该系统通过提供直接反馈来帮助改善涉及手臂或肢体运动的任务的 MI 表现，从而增强康复过程^16,17。MI 和 VR 之间的协同作用强调整合感觉、知觉、认知和运动活动^18,19。这种组合对中风幸存者^20,21 和退伍军人²² 特别有益，因为研究表明，将 VR 整合到基于 MI 的康复方案中可以显着减少康复时间并改善恢复结果。VR 在康复中的独特之处在于它能够在专门设计的虚拟环境中创造一种存在感，通过包含代表用户身体的虚拟形象进一步增强了康复体验，这在运动康复研究中得到了越来越多的使用²³.这些头像提供了肢体运动的逼真三维表示，有助于 MI 并显着影响运动皮层激活。通过允许参与者可视化他们的虚拟自我执行特定任务，VR 不仅丰富了 MI 体验，还促进了更快速、更有效的神经重组和恢复过程²⁴。在 MI 训练中实施虚拟形象和模拟环境强调在沉浸式虚拟世界中自然和综合地使用虚拟身体。

尽管在 MI 中对 3D 头像进行基于 BCI 的控制在康复方面具有显着优势，但离线方法的主要使用仍然存在重大限制。目前，大多数 BCI 应用都涉及捕获预先记录的脑电图 （EEG） 数据，这些数据随后用于操纵头像^24,25。即使在实现实时头像控制的场景中，这些头像通常是通用的，与它们代表的参与者²³ 不同。这种通用的方法错过了加深沉浸感和身体所有权感的关键机会，这对于有效的康复至关重要²⁴。创建反映主题精确肖像的 3D 头像可以显着增强体验的沉浸式体验¹⁶.通过在虚拟世界中想象自己，参与者可以在他们的想象和实际动作之间建立更牢固的联系，从而有可能产生更明显的 ERD 模式，从而更有效地进行神经适应和恢复¹⁶。通过向个性化 3D 头像的实时控制发展，BCI 和 VR 领域可以显着改善康复范式，为患者康复提供更细致、更吸引人和更有效的方法。

目前的手稿介绍了基于 VR 的 3D 虚拟形象实时 BCI 控制的硬件和软件的创建、设计和技术方面，突出了其支持其集成到运动康复设置中的创新成果。拟议的系统将利用脑电图 （EEG） 来捕获受试者产生的运动图像信号，然后将其用于实时控制化身的运动和动作。目前的方法将 VR 技术的先进功能与 EEG 的精确性相结合，以识别和解释与想象运动相关的大脑活动，旨在为用户创建一个更具吸引力和更有效的界面，让他们通过自己的思想力量与数字环境进行交互。

Access restricted. Please log in or start a trial to view this content.

研究方案

目前的研究旨在调查使用通过脑电图记录的 MI 信号在 VR 环境中实时控制 3D 虚拟形象的可行性。该研究的重点是通过个性化化身以使其与主题非常相似来增强沉浸感和身体所有权感。该协议获得了韦洛尔理工学院审查委员会的批准。参与者在审查了研究的目的、程序和潜在风险后提供了书面知情同意书。

1. 实验设置

注意：确保系统包含 图 1 中实验设置图中描述的所有组件（所用设备见 材料表 ）。

1. 3D 虚拟形象开发
   1. 对头像进行建模
      1. 在数据收集前一天，从不同角度收集多张面部照片，并从每个参与者那里收集精确的身体测量值。
      2. 点击 建模软件 打开它。打开后，立即找到 Gender （性别） 滑块。调整此滑块以匹配要创建的模型的性别。
      3. 导航到屏幕顶部的 Modelling （建模） 选项卡，然后单击该选项卡以访问实体自定义选项。
      4. 使用各个部分（如 Torso、Arms、Legs 等）下的滑块对身体进行建模。专注于以下基本测量值：身高、胸部/胸围、腰围、臀围、腿长和臂长。
      5. 单击 Pose/Animate 选项卡，然后选择基本动画的默认骨架。前往 文件 顶部的菜单，选择 出口，然后选择 。MHX2 格式，以便与动画软件兼容。确保选择 Export with Rig （ 使用 Rig 导出 ） 选项以包含骨架。选择目标文件夹，为文件命名，然后单击 Export。
      6. 打开动画软件。转到 文件>导入 并选择 .mhx2 或预期的格式。导航到保存的文件，选择它，然后将其导入软件。
      7. 转到 Edit 菜单，选择 Preferences > Add-ons，并确保启用了适当的插件来构建面。
      8. 在 3D 视口中，切换到插件提供的布局预设或转到插件面板，通常位于左侧的工具栏上。
      9. 点击插件面板中的 Create a New Head 以启动头部模型。使用 Add photo （添加照片 ） 按钮导入参加者的照片。使用正面和侧面轮廓进行精确建模。
      10. 按照提示将照片上的点与 3D 模型上的相应点对齐。然后，该插件将调整头部模型以匹配参与者的特征。对相似度感到满意后，完成头部模型。
      11. 手动定位头部模型，使其与身体模型的颈部对齐。调整头部的刻度和旋转，实现无缝贴合。
      12. 使用对齐工具 （Shift+Tab） 将头部颈部的顶点与身体上的顶点精确对齐。
      13. 对齐后，通过选择两个网格来连接头部和身体，按 Ctrl+J 将它们连接成一个对象。
      14. 导入或建模一对 Bongo，并将它们放置在模型前面的适当高度。
   2. 为头像制作动画
      1. 切换到绑定模型的 Pose Mode（姿势模式）。在第 1 帧，选择所有骨骼并插入一个关键帧（使用 I 键）以便 LocRotScale 记录它们的初始位置。
      2. 将时间轴向前移动到第 30 帧，以放置左手来敲击 Bongo。
      3. 移动和旋转左手的骨架以模拟敲击邦戈鼓。为这些骨骼插入关键帧。重复此过程，将手返回到第 60 帧的起始位置，并插入另一个关键帧以完成操作。
      4. 将时间轴移动到第 90 帧，此时右手开始其操作。与左手类似，调整右手的位置和旋转以模拟敲击另一个邦戈鼓并插入关键帧。
      5. 将手返回到其起始位置，并插入一个关键帧以在第 150 帧处结束运动。
      6. 划动时间轴以查看动画。根据需要进行调整，以便在 Bongo 敲击之间实现更平滑的运动或更好的计时。保存文件。
2. 设备设置
   1. 通过在板的顶部连接带有 8 个 EEG 通道的 Daisy 模块，组装 16 通道 EEG 数据采集系统。
   2. 通过 Y 型分路器电缆将参比电极连接到菊花板上的底部参考引脚和底部的板底部参考引脚，它们都标记为 SRB。
   3. 将接地极连接到底板上的 BIAS 引脚。
   4. 将 16 个 EEG 电极连接到标有 N1P-N8P 的底板引脚和标有 N1P-N8P 的菊花底引脚。
   5. 将电极插入无凝胶帽上符合国际 10-20 系统的标记位置，用于电极放置，电极标记为 FP1、FP2、C3、C4、CZ、P3、P4、PZ、O1、O2、F7、F8、F3、F4、T3 和 T4。
   6. 将提供给脑电图电极的 18 块海绵浸泡在盐水中，其中 5 g 氯化钠混合在 200 mL 自来水中 15 分钟。
   7. 将浸湿的海绵插入每个电极的底部，以在头皮和电极之间建立接触。
   8. 让参与者舒适地坐在一个安静的房间里。将无凝胶脑电图帽放在参与者的头皮上，确保盖子正确对齐以贴合参与者的耳朵。
   9. 将 USB 加密狗连接到笔记本电脑。打开 EEG GUI，单击脑电图系统，在数据源选项下选择串行（来自 Dongle）、16 个通道和 AUTO-CONNECT。
   10. 在数据采集屏幕中，选择信号小部件，通过验证每个电极位点²⁶ 的最佳阻抗水平 <10 kΩ 来检查所连接电极的信号质量。
   11. 如果阻抗高于 10 kΩ，则向电极下方的海绵中加入几滴盐水溶液。检查阻抗后，关闭 GUI。
   12. 打开 Acquisition Server 软件，在“驱动程序”下选择 适当的 EEG 板， 然后单击 Connect > Play 以建立与 EEG 系统的连接。
   13. 准备 VR 耳机，用湿巾消毒并将其放在参与者的头上，越过脑电图帽，以便在捕获脑电图数据时进行身临其境的互动。
3. 游戏设置
   注意：以下说明概述了使用 Open Sound Control （OSC） 的两个游戏引擎场景的设置：一个用于运动图像训练（前馈），另一个用于测试运动图像（反馈）。前馈场景通过 OSC 消息触发的观察动画来训练用户进行运动图像。反馈场景通过根据 OSC 输入为用户想象的运动制作动画来测试运动图像的有效性。
   1. 打开游戏引擎软件，然后选择 Motor Imagery Training Project。启用 VR 支持：转到 Edit > Project Settings > Player > XR Settings），选中 Virtual Reality Supported，并确保 VR 头戴式设备列在虚拟现实 SDK 下。
   2. 删除默认摄像机，然后将 VR 摄像机从 VR 集成包中拖动到场景中。
   3. 将导入的动画文件放置在场景中。根据需要调整比例和方向。确保将带有预先编写脚本的 OSCListener GameObject 设置为根据 OSC 消息触发左手和右手运动的模型动画，从而模拟用于运动意象训练的邦戈击球动作。
   4. 在游戏引擎软件中打开 File > Build Settings 。选择 PC、Mac和Linux独立版，目标Windows，然后点击 构建并运行。
   5. 对于运动影像测试项目，请执行与运动影像训练项目类似的步骤。使用配置了脚本的 OSCListener 游戏对象，这些脚本旨在接收指示参与者想象的手部动作的 OSC 信号，从而触发测试项目的相应动画。

图 1：VR-BCI 设置。 整个 VR-BCI 设置显示参与者佩戴 VR 耳机和 EEG 帽。参与者在虚拟环境中查看个性化的 3D 虚拟形象，并使用无线传输到计算机的大脑信号控制其动作。 请单击此处查看此图的较大版本。

2. 实验设计

1. 信号验证阶段
   1. 打开软件工具以设计和运行电机图像场景，转到文件并加载标记为信号验证、采集、CSP 训练、分类器训练、测试和混淆矩阵的六个电机-影像-BCI 场景。
   2. 导航到信号验证方案。使用设计框将 1 到 40 Hz 之间的带通滤波器（滤波器阶数为 4）应用于原始信号，以优化信号处理。
2. 培训阶段
   1. 指导和指导参与者完成运动意象任务，想象手部动作以响应视觉提示。
   2. 打开用于运动意象训练的文件，并通过 VR 耳机显示站在一组小鼓上的准备好的 3D 头像。
   3. 导航到 Acquisition 场景，然后双击 Graz Motor Imagery Stimulator 以配置该框。
   4. 为左手和右手运动配置 50 次 5 秒的试验（提示 1.25 秒和 MI-3.75 秒），结合 20 秒的基线期，然后在每 10 次试验后休息 10 秒，以避免精神疲劳。
   5. 将左手试验和右手试验配置为随机化，并在试验前有一个提示，指示要想象的手。
   6. 将 OSC 盒子与 IP 地址和端口连接起来，将要想象的手的提示传输到运动意象训练游戏引擎程序。
   7. 引导参与者想象他们的手与 3D 虚拟形象一起按照与虚拟形象相同的速度执行他们的动作，因为它用相应的手敲击邦戈鼓，并遵循显示要想象的手的文本提示。
3. CSP 和 LDA 培训
   1. 采集后，运行 CSP 训练场景以分析采集阶段的 EEG 数据并计算常见空间模式 （CSP），创建过滤器以区分左侧和右侧图像。
   2. 在 CSP 训练之后，导航到分类器训练场景并运行它，以利用线性判别分析 （LDA） 使用 CSP 过滤器进行高效的任务分类，为系统实时虚拟形象控制做好准备。
4. 测试阶段
   1. 导航到测试场景，让参与者使用脑机接口 （BCI） 技术实时控制他们的 3D 头像。
   2. 在适当的框中加载在上一个场景中根据捕获的脑电图数据训练的分类器，同时参与者想象手部动作以实时解释这些想象的动作。
   3. 确保脑电图系统和 VR 设置正常运行，并根据训练阶段设置正确配置。
   4. 向参与者简要介绍测试程序，强调需要清楚地想象文本提示提示的手部动作（用左手或右手敲击邦戈）。
   5. 与训练阶段类似，为每个参与者进行 20 次试验，平均分配想象左右手的运动和随机。
   6. 连接并配置 OSC 盒以传输要显示为文本的提示信息，指示在游戏引擎程序中对哪手牌进行成像。
   7. 连接到另一个 OSC 盒子，以传输左右手移动的预测值，以便游戏引擎程序根据参与者想象的手部播放相应的动画。
   8. 运行测试方案。运行 Motor Imagery Testing 游戏引擎程序。

3. 数据收集和分析

1. 在实验的采集和测试阶段连续记录 EEG 数据和分类器输出，数据采样频率为 125 Hz。
2. 导航到混淆矩阵场景，并将获取的 EEG 文件加载到标有 Generic stream reader 的框中，用于每个参与者以及采集和训练阶段。
3. 运行场景以获得混淆矩阵，以评估 BCI 系统解释电机图像信号的准确性。
4. 从参与者那里收集有关他们在佩戴 EEG 帽和 VR 耳机时对虚拟形象的易用性、控制功能、沉浸程度和舒适度的体验的反馈。

Access restricted. Please log in or start a trial to view this content.

结果

显示的结果来自 5 名遵循上述方案的人。共有 5 名年龄在 21 至 38 岁之间的健康成年人（3 名女性）参与了这项研究。

图 2 显示了每个参与者在运动意象训练和测试条件下的个体分类表现。计算所有受试者的平均混淆矩阵，以评估分类器在训练和测试期间区分左右 MI 信号的准确性（见图 3）。

在训练期间为左?...

Access restricted. Please log in or start a trial to view this content.

讨论

MI 与 VR 技术相结合的应用通过利用大脑的自然机制进行运动规划和执行，为康复提供了一条有前途的途径。MI 能够在特定大脑频段中诱导与事件相关的不同步，反映身体运动的神经活动 ^2,3,4，为参与和加强参与运动控制的神经网络提供了一个强大的框架⁸。VR 的沉浸式质量进一步增强了这一过程，它不仅放大?...

Access restricted. Please log in or start a trial to view this content.

材料

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset	Meta		VR headset
OpenBCI Cyton Daisy	OpenBCI		EEG system
OpenBCI Gel-free cap	OpenBCI		Gel-free cap for placing the EEG electrodes over the participant's scalp