在支持虚拟现实的脑机接口环境中通过具身数字孪生实现的运动图像性能

摘要

虚拟现实环境中的运动图像在脑机接口系统中有广泛的应用。这份手稿概述了个性化数字化身的使用，这些虚拟形象类似于参与者在虚拟现实环境中执行参与者想象的动作，以增强沉浸感和身体所有权感。

摘要

本研究通过将脑机接口 （BCI） 和虚拟现实 （VR） 技术与三维 （3D） 化身的定制相结合，引入了一种创新的神经康复框架。传统的康复方法往往无法让患者充分参与，主要是因为他们无法提供深度沉浸式和互动体验。本研究试图通过利用运动意象 （MI） 技术来填补这一空白，参与者可以在没有实际执行的情况下可视化身体运动。这种方法利用大脑的神经机制，在想象运动时激活参与运动执行的区域，从而促进恢复过程。VR 的沉浸式功能与脑电图 （EEG） 的精度相结合，以捕获和解释与想象运动相关的大脑活动，构成了该系统的核心。采用个性化 3D 虚拟形象形式的数字孪生来显着增强虚拟环境中的沉浸感。这种高度的体现感对于有效的康复至关重要，旨在加强患者与虚拟伴侣之间的联系。通过这样做，该系统不仅旨在提高运动想象性能，还寻求提供更具吸引力和更有效的康复体验。通过实时应用 BCI，该系统允许将想象的动作直接转化为 3D 虚拟形象执行的虚拟动作，从而向用户提供即时反馈。这个反馈回路对于加强运动控制和恢复所涉及的神经通路至关重要。开发的系统的最终目标是通过使运动意象练习更具交互性和对用户认知过程的反应性来显着提高运动意象练习的有效性，从而在神经康复领域铺平一条新道路。

引言

随着脑机接口 （BCI） 和沉浸式虚拟现实 （VR） 等先进技术的整合，神经损伤患者的康复模式正在发生变革性转变，为促进康复提供了一种更细致、更有效的方法。运动意象 （MI） 是基于 BCI 的康复的核心技术，涉及身体运动的心理排练，而没有实际的运动执行¹。MI 利用了一种神经机制，在这种机制中，想象一个动作会触发一种大脑活动模式，该模式与执行身体动作本身非常相似 ^2,3,4。具体来说，参与 MI 会导致大脑电活动的 alpha （8-13 Hz） 和 beta （13-25 Hz） 频带中出现一种称为事件相关不同步 （ERD）^{的现象 5,6,7}。ERD 表明基线脑节律受到抑制，在实际运动中也观察到这种模式，从而为 BCI 辅助康复框架内 MI 的使用提供了神经基础⁷。MI 和身体运动之间皮层激活的这种相似性表明，MI 可以有效地刺激参与运动控制的神经网络，使其成为运动缺陷患者的宝贵工具⁸。此外，MI 的实践已经扩展到单....

研究方案

目前的研究旨在调查使用通过脑电图记录的 MI 信号在 VR 环境中实时控制 3D 虚拟形象的可行性。该研究的重点是通过个性化化身以使其与主题非常相似来增强沉浸感和身体所有权感。该协议获得了韦洛尔理工学院审查委员会的批准。参与者在审查了研究的目的、程序和潜在风险后提供了书面知情同意书。

1. 实验设置

注意：确保系统包含 图 1 中实验设置图中描述的所有组件（所用设备见 材料表 ）。

1. 3D 虚拟形象开发
   1. 对头像进行建模
      1. 在数据收集前一天，从不同角度收集多张面部照片，并从每个参与者那里收集精确的身体测量值。
      2. 点击 建模软件 打开它。打开后，立即找到 Gender （性别） 滑块。调整此滑块以匹配要创建的模型的性别。
      3. 导航到屏幕顶部的 Modelling （建模） 选项卡，然后单击该选项卡以访问实体自定义选项。
      4. 使用各个部分（如 Torso、Arms、Legs 等）下的滑块对身体进行建模。专注于以下基本测量值：身高、胸部/胸围、腰围、臀围、腿长和臂长。
      5. 单击 Pose/Animate 选项卡，....

讨论

MI 与 VR 技术相结合的应用通过利用大脑的自然机制进行运动规划和执行，为康复提供了一条有前途的途径。MI 能够在特定大脑频段中诱导与事件相关的不同步，反映身体运动的神经活动 ^2,3,4，为参与和加强参与运动控制的神经网络提供了一个强大的框架⁸。VR 的沉浸式质量进一步增强了这一过程，它不仅放大?.......

材料

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset	Meta		VR headset
OpenBCI Cyton Daisy	OpenBCI		EEG system
OpenBCI Gel-free cap	OpenBCI		Gel-free cap for placing the EEG electrodes over the participant's scalp