Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual

Resumen

Las imágenes motoras en un entorno de realidad virtual tienen amplias aplicaciones en los sistemas de interfaz cerebro-computadora. Este manuscrito describe el uso de avatares digitales personalizados que se asemejan a los participantes realizando movimientos imaginados por el participante en un entorno de realidad virtual para mejorar la inmersión y el sentido de propiedad del cuerpo.

Resumen

Este estudio presenta un marco innovador para la rehabilitación neurológica mediante la integración de interfaces cerebro-computadora (BCI) y tecnologías de realidad virtual (VR) con la personalización de avatares tridimensionales (3D). Los enfoques tradicionales de la rehabilitación a menudo no logran involucrar completamente a los pacientes, principalmente debido a su incapacidad para brindar una experiencia profundamente inmersiva e interactiva. Esta investigación se esfuerza por llenar este vacío mediante la utilización de técnicas de imágenes motoras (MI), donde los participantes visualizan movimientos físicos sin una ejecución real. Este método aprovecha los mecanismos neuronales del cerebro, activando las áreas involucradas en la ejecución del movimiento al imaginar movimientos, facilitando así el proceso de recuperación. La integración de las capacidades inmersivas de la realidad virtual con la precisión de la electroencefalografía (EEG) para capturar e interpretar la actividad cerebral asociada con movimientos imaginarios forma el núcleo de este sistema. Los gemelos digitales en forma de avatares 3D personalizados se emplean para mejorar significativamente la sensación de inmersión en el entorno virtual. Este mayor sentido de encarnación es crucial para una rehabilitación eficaz, con el objetivo de reforzar la conexión entre el paciente y su contraparte virtual. Al hacerlo, el sistema no solo tiene como objetivo mejorar el rendimiento de las imágenes motoras, sino que también busca brindar una experiencia de rehabilitación más atractiva y eficaz. A través de la aplicación en tiempo real de BCI, el sistema permite la traducción directa de los movimientos imaginados en acciones virtuales realizadas por el avatar 3D, ofreciendo una retroalimentación inmediata al usuario. Este bucle de retroalimentación es esencial para reforzar las vías neuronales implicadas en el control motor y la recuperación. El objetivo final del sistema desarrollado es mejorar significativamente la eficacia de los ejercicios de imágenes motoras haciéndolos más interactivos y sensibles a los procesos cognitivos del usuario, allanando así un nuevo camino en el campo de la rehabilitación neurológica.

Introducción

Los paradigmas de rehabilitación para pacientes con discapacidades neurológicas están experimentando un cambio transformador con la integración de tecnologías avanzadas como las interfaces cerebro-computadora (BCI) y la realidad virtual inmersiva (VR), que ofrecen un método más matizado y efectivo para fomentar la recuperación. Las imágenes motoras (IM), la técnica central de la rehabilitación basada en la BCI, implican el ensayo mental de movimientos físicos sin una ejecución motora real¹. El infarto de miocardio explota un mecanismo neuronal en el que imaginar un movimiento desencadena un patrón de actividad cerebral que se asemeja mucho al de la propia acción física ^2,3,4. Específicamente, la participación en el IM conduce a un fenómeno conocido como desincronización relacionada con eventos (ERD) en las bandas de frecuencia alfa (8-13 Hz) y beta (13-25 Hz) de la actividad eléctrica del cerebro ^5,6,7. La ERD es indicativa de una supresión de los ritmos cerebrales basales, un patrón que también se observa durante el movimiento real, proporcionando así un sustrato neural para el uso de la IM dentro de los marcos de rehabilitación asistida por BCI⁷. Tal similitud en la activación cortical entre el IM y el movimiento físico sugiere que el IM puede estimular eficazmente las redes neuronales involucradas en el control motor, lo que lo convierte en una herramienta valiosa para los pacientes con déficits motores⁸. Además, la práctica de la IM se ha extendido más allá del mero ensayo mental para incluir estrategias de observación de la acción⁹. Observar el movimiento de las partes del cuerpo relacionadas con la tarea o las acciones de los demás puede activar la red de neuronas espejo (MNN), un grupo de neuronas que responden tanto a la observación como a^{la ejecución de} la acción. Se ha demostrado que la activación de la MNN a través de la observación induce plasticidad cortical, como lo demuestran varias modalidades de neuroimagen, incluida la resonancia magnética funcional¹⁰, la tomografía por emisión de positrones¹¹ y la estimulación magnética transcraneal¹². La evidencia apoya la idea de que el entrenamiento de la IM, mejorado por la observación de la acción, puede conducir a una adaptación y recuperación neuronal significativas en los individuos afectados.

La tecnología de realidad virtual ha revolucionado el ámbito de la rehabilitación basada en el IM al ofrecer un entorno inmersivo que mejora el sentido de propiedad del cuerpo y difumina las distinciones entre el mundo real y el virtual 13,14,15. La calidad inmersiva de la RV la convierte en una herramienta eficaz para la observación de la acción y la práctica de la imaginación motora, ya que permite a los participantes percibir el entorno virtual como real¹⁵. Las investigaciones han demostrado que los dispositivos de realidad virtual tienen un efecto más pronunciado en el entrenamiento de IM en comparación con las pantallas de monitor 2D tradicionales^15,16. Tales hallazgos se evidencian por una mayor actividad neuronal, como el aumento de las relaciones de amplitud de ERD en la corteza sensoriomotora, destacando los beneficios de niveles de inmersión más altos en la estimulación de la actividad cerebral durante los ejercicios de IM guiados visualmente¹⁶. El sistema ayuda a mejorar el rendimiento del IM para tareas que involucran movimientos de brazos o extremidades al proporcionar retroalimentación directa, mejorando así el proceso de rehabilitación^16,17. La sinergia entre la IM y la RV hace hincapié en la integración de las actividades sensoriales, perceptivas, cognitivas y motoras^18,19. La combinación ha sido particularmente beneficiosa para los sobrevivientes de accidentes cerebrovasculares^20,21 y los veteranos de guerra²², ya que los estudios han demostrado que la integración de la RV en los protocolos de rehabilitación basados en el IM puede reducir significativamente el tiempo de rehabilitación y mejorar los resultados de recuperación. La característica única de la RV en la rehabilitación radica en su capacidad para crear una sensación de presencia dentro de un entorno virtual específicamente diseñado, mejorando la experiencia de rehabilitación que se incrementa aún más con la inclusión de avatares virtuales que representan el cuerpo del usuario, que se ha utilizado cada vez más en los estudios de rehabilitación motora²³. Estos avatares ofrecen una representación tridimensional realista de los movimientos de las extremidades, lo que ayuda en el infarto de miocardio e impacta significativamente en la activación de la corteza motora. Al permitir que los participantes visualicen a su yo virtual realizando tareas específicas, la realidad virtual no solo enriquece la experiencia de IM, sino que también fomenta^{un proceso de} reorganización y recuperación neuronal más rápido y efectivo. La implementación de avatares virtuales y entornos simulados en el entrenamiento de IM enfatiza el uso natural e integrado de cuerpos virtuales dentro de mundos virtuales inmersivos.

A pesar de las notables ventajas del control basado en BCI de avatares 3D en IM para la rehabilitación, sigue existiendo una limitación significativa en el uso predominante de metodologías fuera de línea. En la actualidad, la mayoría de las aplicaciones de BCI implican la captura de datos de electroencefalografía (EEG) pregrabados que posteriormente se utilizan para manipular un avatar^24,25. Incluso en escenarios en los que se logra el control de avatares en tiempo real, estos avatares suelen ser genéricos y no se parecen a los participantes que representan²³. Este enfoque genérico pierde una oportunidad crítica para profundizar la inmersión y el sentido de propiedad del cuerpo, que es crucial para una rehabilitación efectiva²⁴. La creación de un avatar 3D que refleje la semejanza exacta del sujeto podría mejorar significativamente la experiencia inmersiva de la experiencia¹⁶. Al visualizarse a sí mismos en el mundo virtual, los participantes podrían fomentar una conexión más fuerte entre sus movimientos imaginarios y reales, lo que podría conducir a patrones de ERD más pronunciados y, por lo tanto, a una adaptación^{y recuperación} neuronal más efectivas. Al avanzar hacia el control en tiempo real de avatares 3D personalizados, el campo de BCI y VR puede mejorar significativamente los paradigmas de rehabilitación, ofreciendo un método más matizado, atractivo y eficaz para la recuperación del paciente.

El presente manuscrito presenta la creación, el diseño y los aspectos tecnológicos tanto del hardware como del software del control BCI en tiempo real basado en RV de avatares 3D, destacando sus resultados innovadores que apoyan su integración en entornos de rehabilitación motora. El sistema propuesto utilizará electroencefalografía (EEG) para capturar señales de imágenes motoras generadas por el sujeto, que luego se utilizarán para controlar los movimientos y acciones del avatar en tiempo real. El enfoque actual combinará las capacidades avanzadas de la tecnología de realidad virtual con la precisión del EEG en el reconocimiento e interpretación de la actividad cerebral relacionada con los movimientos imaginarios, con el objetivo de crear una interfaz más atractiva y efectiva para que los usuarios interactúen con los entornos digitales a través del poder de sus pensamientos.

Protocolo

El presente estudio tiene como objetivo investigar la viabilidad de controlar un avatar 3D en tiempo real dentro de un entorno de realidad virtual utilizando señales de IM registradas a través de EEG. El estudio se centra en mejorar la inmersión y el sentido de propiedad del cuerpo mediante la personalización del avatar para que se parezca mucho al sujeto. El protocolo recibió la aprobación de la Junta de Revisión del Instituto de Tecnología de Vellore. Los participantes dieron su consentimiento informado por escrito después de revisar el propósito, los procedimientos y los riesgos potenciales del estudio.

1. Configuración experimental

NOTA: Asegúrese de que el sistema incorpore todos los componentes como se muestra en el diagrama de la configuración experimental en la Figura 1 (consulte la Tabla de Materiales para el equipo utilizado).

1. Desarrollo de avatares 3D
   1. Modelando el avatar
      1. El día antes de la recolección de datos, recopile múltiples fotografías faciales desde varios ángulos y medidas corporales precisas de cada participante.
      2. Haga clic en Software de modelado para abrirlo. Inmediatamente después de abrir, busque el control deslizante para Género. Ajuste este control deslizante para que coincida con el género del modelo que desea crear.
      3. Navega a la pestaña Modelado en la parte superior de la pantalla y haz clic en la pestaña para acceder a las opciones de personalización del cuerpo.
      4. Use los controles deslizantes debajo de varias secciones, como Torso, Brazos, Piernas, etc., para modelar el cuerpo. Concéntrese en las siguientes medidas básicas: altura, pecho/busto, cintura, caderas, longitud de las piernas y longitud de los brazos.
      5. Haga clic en la pestaña Pose/Animar y seleccione el esqueleto predeterminado para las animaciones básicas. Vaya al menú Archivos en la parte superior, seleccione Exportar y, a continuación, elija el. Formato MHX2 para compatibilidad con el software de animación. Asegúrese de seleccionar la opción Exportar con equipo para incluir el esqueleto. Elija una carpeta de destino, asigne un nombre al archivo y haga clic en Exportar.
      6. Abre el software de animación. Vaya a Importar > de archivos y seleccione .mhx2 o el formato que desee. Navega hasta el archivo guardado, selecciónalo e impórtalo en el software.
      7. Ve al menú Editar, selecciona Preferencias > Complementos y asegúrate de que el plugin adecuado para crear caras esté activado.
      8. En la ventana gráfica 3D, cambie al ajuste preestablecido de diseño proporcionado por el complemento o vaya al panel del complemento, generalmente ubicado en el estante de herramientas en el lado izquierdo.
      9. Haga clic en Crear una nueva cabeza en el panel del complemento para iniciar el modelo de cabeza. Utilice el botón Agregar foto para importar fotos del participante. Utilice los perfiles frontales y laterales para un modelado preciso.
      10. Siga las indicaciones para alinear los puntos de las fotos con los puntos correspondientes del modelo 3D. A continuación, el plugin ajustará el modelo de cabeza para que coincida con las características del participante. Una vez satisfecho con la semejanza, finalice el modelo de cabeza.
      11. Coloque manualmente el modelo de cabeza para alinearlo con el cuello del modelo de cuerpo. Ajusta la escala y la rotación de la cabeza para un ajuste perfecto.
      12. Utilice la herramienta Ajustar (Mayús+Tabulador) para alinear con precisión los vértices del cuello de la cabeza con los del cuerpo.
      13. Una vez alineados, une la cabeza y el cuerpo seleccionando ambas mallas, pulsando Ctrl+J para unirlas en un solo objeto.
      14. Importa o modela un par de bongos y colócalos frente al modelo a una altura adecuada.
   2. Animación del avatar
      1. Cambie al modo de pose para el modelo manipulado. En el fotograma 1, seleccione todos los huesos e inserte un fotograma clave (utilice la tecla I) para que LocRotScale registre sus posiciones iniciales.
      2. Avanza la línea de tiempo hasta el fotograma 30 para colocar la mano izquierda para golpear el bongó.
      3. Mueve y gira la armadura de la mano izquierda para simular golpear el bongó. Inserte un fotograma clave para estos huesos. Repita este proceso para devolver la manecilla a su posición inicial en el fotograma 60, insertando otro fotograma clave para completar la acción.
      4. Mueva la línea de tiempo al fotograma 90, donde la mano derecha comienza su acción. Al igual que con la mano izquierda, ajusta la posición y la rotación de la mano derecha para simular cómo golpear el otro bongó e insertar un fotograma clave.
      5. Vuelva a colocar la manecilla en su posición inicial e inserte un fotograma clave para finalizar el movimiento en el fotograma 150.
      6. Desplázate por la línea de tiempo para revisar la animación. Ajústelo según sea necesario para un movimiento más suave o una mejor sincronización entre las caladas del bongó. Guarde el archivo.
2. Configuración del equipo
   1. Ensamble el sistema de adquisición de datos de EEG de 16 canales conectando el módulo Daisy con 8 canales de EEG en la parte superior de la placa con 8 canales de EEG.
   2. Conecte el electrodo de referencia a través de un cable divisor en Y al pin de referencia inferior de la placa Daisy y al pin de referencia inferior de la placa en la parte inferior, que están etiquetados como SRB.
   3. Conecte el electrodo de tierra al pin BIAS en la placa inferior.
   4. Conecte los 16 electrodos de EEG a las clavijas de la placa inferior etiquetadas como N1P-N8P y a las clavijas inferiores etiquetadas como N1P-N8P.
   5. Inserte los electrodos en la tapa sin gel en las ubicaciones etiquetadas que se adhieren al sistema internacional 10-20 para la colocación de electrodos con electrodos etiquetados como FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 y T4.
   6. Remoje las 18 esponjas provistas para los electrodos de EEG en una solución salina con 5 g de cloruro de sodio mezclados con 200 ml de agua del grifo durante 15 minutos.
   7. Inserte las esponjas empapadas en la parte inferior de cada electrodo para establecer contacto entre el cuero cabelludo y el electrodo.
   8. Haga que los participantes se sienten cómodamente en una habitación tranquila. Coloque el gorro de EEG sin gel en el cuero cabelludo del participante, asegurándose de que el gorro esté alineado correctamente para que se ajuste a las orejas del participante.
   9. Conecte el dongle USB a la computadora portátil. Abra la GUI de EEG, haga clic en el sistema de EEG, en la opción Fuente de datos, seleccione Serie (de Dongle), 16 canales y AUTO-CONNECT.
   10. Dentro de la pantalla de adquisición de datos, seleccione el widget de señal para comprobar la calidad de la señal de los electrodos conectados verificando un nivel de impedancia óptimo de <10 kΩ en cada sitio de electrodo²⁶.
   11. Si la impedancia es superior a 10 kΩ, agregue unas gotas de solución salina a la esponja debajo del electrodo. Después de la verificación de impedancia, cierre la GUI.
   12. Abra el software del servidor de adquisición, seleccione la placa de EEG adecuada en Controlador y haga clic en Conectar > reproducir para establecer una conexión con el sistema de EEG.
   13. Prepare el casco de realidad virtual desinfectándolo con toallitas y colocándolo en la cabeza del participante sobre el gorro de EEG para facilitar una interacción inmersiva mientras captura los datos del EEG.
3. Configuración del juego
   NOTA: Las siguientes instrucciones describen la configuración de dos escenarios de motor de juego mediante Open Sound Control (OSC): uno para el entrenamiento de imágenes motoras (feedforward) y otro para probar imágenes motoras (retroalimentación). El escenario de avance entrena a los usuarios en imágenes motoras a través de animaciones observadas desencadenadas por mensajes OSC. El escenario de retroalimentación prueba la eficacia de las imágenes motoras mediante la animación de movimientos imaginados por el usuario en función de las entradas OSC.
   1. Abra el software del motor del juego y seleccione Proyecto de entrenamiento de imágenes motoras. Habilite la compatibilidad con realidad virtual: vaya a Editar > configuración del proyecto > Configuración del reproductor > XR, marque Compatible con realidad virtual y asegúrese de que el casco de realidad virtual aparezca en SDK de realidad virtual.
   2. Elimine la cámara predeterminada y arrastre la cámara de realidad virtual a la escena desde el paquete de integración de realidad virtual.
   3. Coloque el archivo de animación importado en la escena. Ajuste la escala y la orientación según sea necesario. Asegúrese de que el GameObject OSCListener con scripts preescritos esté configurado para desencadenar animaciones de modelos para movimientos de la mano izquierda y derecha basados en mensajes OSC, simulando la acción de golpear el bongó para el entrenamiento de imágenes motoras.
   4. Abra Configuración de archivos > compilación en el software del motor del juego. Seleccione PC, Mac y Linux independiente, seleccione Windows de destino y, a continuación, haga clic en Compilar y ejecutar.
   5. Para el proyecto de pruebas de imágenes motoras, realice pasos similares a los del proyecto de entrenamiento de imágenes motoras. Utilice el GameObject OSCListener configurado con scripts diseñados para recibir señales OSC indicativas de los movimientos imaginarios de la mano del participante, activando las animaciones correspondientes para el proyecto de prueba.

Figura 1: Configuración de VR-BCI. Toda la configuración de VR-BCI muestra al participante con el casco de realidad virtual y el gorro de EEG. Los participantes vieron el avatar 3D personalizado en el entorno virtual y controlaron su acción utilizando señales cerebrales transmitidas a la computadora de forma inalámbrica. Haga clic aquí para ver una versión más grande de esta figura.

2. Diseño experimental

1. Etapa de verificación de la señal
   1. Abra la herramienta de software para diseñar y ejecutar escenarios de imágenes de motor, vaya a Archivo y cargue los seis escenarios de Motor-Imagery-BCI etiquetados como Verificación de señal, Adquisición, Capacitación de CSP, Capacitación de clasificador, Pruebas y Matriz de confusión.
   2. Navegue hasta el escenario de verificación de señal. Aplique un filtro de paso de banda entre 1 y 40 Hz con un orden de filtro de 4 a las señales sin procesar utilizando cajas de diseño para un procesamiento de señal optimizado.
2. Etapa de formación
   1. Guíe e instruya a los participantes para que se sometan a tareas de imágenes motoras, imaginando los movimientos de las manos en respuesta a señales visuales.
   2. Abra el archivo para el entrenamiento de imágenes motoras y muestre el avatar 3D preparado de pie sobre un conjunto de bongos a través del casco de realidad virtual.
   3. Navegue hasta el escenario de adquisición y haga doble clic en el estimulador de imágenes de motor de Graz para configurar el cuadro.
   4. Configure 50 ensayos de 5 s (cue-1,25 s y MI-3,75 s) para los movimientos de la mano izquierda y derecha, incorporando un período de referencia de 20 s seguido de intervalos de descanso de 10 s después de cada 10 intentos para evitar la fatiga mental.
   5. Configure las pruebas de la mano izquierda y derecha para que sean aleatorias y tenga una señal antes de la prueba que indique la mano que se va a imaginar.
   6. Conecte una caja OSC con la dirección IP y el puerto para transmitir la señal de la mano que se va a imaginar al programa del motor del juego de entrenamiento de imágenes motoras.
   7. Pida a los participantes que imaginen ejecutando el movimiento de su mano junto con el avatar 3D siguiendo el mismo ritmo que el avatar mientras golpea el bongó con la mano correspondiente, siguiendo una señal de texto que muestra qué mano se debe imaginar.
3. Capacitación en CSP y LDA
   1. Después de la adquisición, ejecute el escenario de entrenamiento de CSP para analizar los datos de EEG de la etapa de adquisición y calcular patrones espaciales comunes (CSP), creando filtros para distinguir entre imágenes de la izquierda y de la derecha.
   2. Después del entrenamiento de CSP, navegue hasta el escenario de entrenamiento del clasificador y ejecútelo para utilizar el análisis discriminante lineal (LDA) mediante los filtros de CSP para una clasificación de tareas eficiente, preparando el sistema para el control de avatares en tiempo real.
4. Etapa de prueba
   1. Navegue hasta el escenario de prueba para que los participantes controlen sus avatares 3D en tiempo real utilizando la tecnología de interfaz cerebro-computadora (BCI).
   2. Cargue en las casillas correspondientes los clasificadores entrenados durante el escenario anterior con los datos de EEG capturados mientras los participantes imaginaban los movimientos de las manos para interpretar estas acciones imaginadas en tiempo real.
   3. Asegúrese de que el sistema de EEG y la configuración de VR estén operativos y configurados correctamente según la configuración de la etapa de entrenamiento.
   4. Informar a los participantes sobre el procedimiento de prueba, enfatizando la necesidad de imaginar claramente los movimientos de la mano (golpear el bongo con la mano izquierda o derecha) según lo indiquen las señales de texto.
   5. Al igual que en la etapa de entrenamiento, se realizan 20 ensayos para cada participante, divididos a partes iguales entre imaginar movimientos de la mano izquierda y derecha y aleatorios.
   6. Conecte y configure una caja OSC para transmitir la información de la señal que se mostrará como texto que indica qué mano se visualizará en el programa del motor del juego.
   7. Conéctese a otra caja OSC para transmitir el valor previsto para los movimientos de la mano izquierda y derecha para que el programa del motor del juego reproduzca la animación correspondiente basada en la mano imaginada por el participante.
   8. Ejecute el escenario de prueba. Ejecute el programa del motor del juego Motor Imagery Testing.

3. Recopilación y análisis de datos

1. Registre continuamente los datos de EEG y las salidas del clasificador durante las etapas de adquisición y prueba del experimento, con datos muestreados a 125 Hz.
2. Navegue hasta el escenario de Matriz de confusión y cargue el archivo de EEG adquirido en el cuadro etiquetado como Lector de flujo genérico para cada participante y para las etapas de adquisición y entrenamiento.
3. Ejecute el escenario para obtener la matriz de confusión y evaluar la precisión con la que el sistema BCI interpreta las señales de imágenes motoras.
4. Recopile comentarios de los participantes sobre su experiencia con la facilidad de uso, las capacidades de control, el nivel de inmersión y la comodidad del avatar mientras usa el gorro de EEG y el auricular de realidad virtual.

Resultados

Los resultados mostrados son de 5 individuos que siguieron el protocolo descrito anteriormente. Un total de 5 adultos sanos (3 mujeres) con edades comprendidas entre los 21 y los 38 años participaron en el estudio.

En la Figura 2 se muestra el rendimiento de la clasificación individual para cada participante tanto en el entrenamiento de imágenes motoras como en las condiciones de prueba. Se calculó una matriz de confusión promedio para todos los sujetos para ...

Discusión

La aplicación de la IM junto con la tecnología de realidad virtual ofrece una vía prometedora para la rehabilitación al aprovechar los mecanismos naturales del cerebro para la planificación y ejecución motora. La capacidad de la IM para inducir la desincronización relacionada con eventos en bandas de frecuencia cerebrales específicas, reflejando la actividad neuronal del movimiento físico ^2,3,4, proporciona un marco só...

Materiales

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset	Meta		VR headset
OpenBCI Cyton Daisy	OpenBCI		EEG system
OpenBCI Gel-free cap	OpenBCI		Gel-free cap for placing the EEG electrodes over the participant's scalp