Un abonnement à JoVE est nécessaire pour voir ce contenu. Connectez-vous ou commencez votre essai gratuit.

Dans cet article

  • Résumé
  • Résumé
  • Introduction
  • Protocole
  • Résultats
  • Discussion
  • Déclarations de divulgation
  • Remerciements
  • matériels
  • Références
  • Réimpressions et Autorisations

Résumé

L’imagerie motrice dans un environnement de réalité virtuelle a de nombreuses applications dans les systèmes d’interface cerveau-ordinateur. Ce manuscrit décrit l’utilisation d’avatars numériques personnalisés qui ressemblent aux participants exécutant des mouvements imaginés par le participant dans un environnement de réalité virtuelle afin de renforcer l’immersion et le sentiment d’appartenance corporelle.

Résumé

Cette étude introduit un cadre innovant pour la réadaptation neurologique en intégrant les technologies d’interfaces cerveau-ordinateur (ICM) et de réalité virtuelle (RV) avec la personnalisation d’avatars tridimensionnels (3D). Les approches traditionnelles de la réadaptation ne parviennent souvent pas à impliquer pleinement les patients, principalement en raison de leur incapacité à offrir une expérience profondément immersive et interactive. Cette recherche s’efforce de combler cette lacune en utilisant des techniques d’imagerie motrice (IM), où les participants visualisent des mouvements physiques sans exécution réelle. Cette méthode capitalise sur les mécanismes neuronaux du cerveau, activant les zones impliquées dans l’exécution du mouvement lors de l’imagination des mouvements, facilitant ainsi le processus de récupération. L’intégration des capacités immersives de la RV avec la précision de l’électroencéphalographie (EEG) pour capturer et interpréter l’activité cérébrale associée à des mouvements imaginaires constitue le cœur de ce système. Les jumeaux numériques sous la forme d’avatars 3D personnalisés sont utilisés pour améliorer considérablement le sentiment d’immersion dans l’environnement virtuel. Ce sentiment accru d’incarnation est crucial pour une réadaptation efficace, visant à renforcer le lien entre le patient et son homologue virtuel. Ce faisant, le système vise non seulement à améliorer les performances de l’imagerie motrice, mais aussi à offrir une expérience de réadaptation plus attrayante et plus efficace. Grâce à l’application en temps réel de BCI, le système permet de traduire directement des mouvements imaginés en actions virtuelles effectuées par l’avatar 3D, offrant un retour immédiat à l’utilisateur. Cette boucle de rétroaction est essentielle pour renforcer les voies neuronales impliquées dans le contrôle moteur et la récupération. L’objectif ultime du système développé est d’améliorer considérablement l’efficacité des exercices d’imagerie motrice en les rendant plus interactifs et réactifs aux processus cognitifs de l’utilisateur, ouvrant ainsi une nouvelle voie dans le domaine de la réadaptation neurologique.

Introduction

Les paradigmes de réadaptation des patients atteints de troubles neurologiques subissent un changement transformateur grâce à l’intégration de technologies avancées telles que les interfaces cerveau-ordinateur (BCI) et la réalité virtuelle immersive (VR), offrant une méthode plus nuancée et plus efficace pour favoriser le rétablissement. L’imagerie motrice (IM), la technique au cœur de la réadaptation basée sur l’ICM, implique la répétition mentale de mouvements physiques sans exécution motrice réelle1. L’IM exploite un mécanisme neuronal où l’imagination d’un mouvement déclenche un modèle d’activité cérébrale qui reflète étroitement celui de l’exécution de l’action physique elle-même 2,3,4. Plus précisément, l’engagement dans l’IM conduit à un phénomène connu sous le nom de désynchronisation liée aux événements (ERD) dans les bandes de fréquences alpha (8-13 Hz) et bêta (13-25 Hz) de l’activité électrique du cerveau 5,6,7. L’ERD est indicative d’une suppression des rythmes cérébraux de base, un modèle également observé lors du mouvement réel, fournissant ainsi un substrat neuronal pour l’utilisation de l’IM dans les cadres de réadaptation assistée par BCI7. Une telle similitude dans l’activation corticale entre l’IM et le mouvement physique suggère que l’IM peut stimuler efficacement les réseaux neuronaux impliqués dans le contrôle moteur, ce qui en fait un outil précieux pour les patients atteints de déficits moteurs8. De plus, la pratique de l’EM a été étendue au-delà de la simple répétition mentale pour inclure des stratégies d’observation de l’action9. L’observation du mouvement des parties du corps liées à la tâche ou des actions chez les autres peut activer le réseau de neurones miroirs (MNN), un groupe de neurones qui répondent à la fois à l’observation et à l’exécution d’actions9. Il a été démontré que l’activation du MNN par l’observation induit la plasticité corticale, comme en témoignent diverses modalités de neuroimagerie, notamment l’IRM fonctionnelle10, la tomographie par émission de positons11 et la stimulation magnétique transcrânienne12. Les preuves soutiennent l’idée que l’entraînement à l’EM, amélioré par l’observation de l’action, peut conduire à une adaptation neuronale et à une récupération significatives chez les personnes touchées.

La technologie de réalité virtuelle a révolutionné le domaine de la réadaptation basée sur l’EM en offrant un environnement immersif qui renforce le sentiment d’appartenance au corps et brouille les distinctions entre les mondes réel et virtuel 13,14,15. La qualité immersive de la VR en fait un outil efficace pour l’observation de l’action et la pratique de l’imagerie motrice, car elle permet aux participants de percevoir l’environnement virtuel comme réel15. Des recherches ont montré que les appareils VR ont un effet plus prononcé sur l’entraînement à l’IM que les écrans 2D traditionnels15,16. De tels résultats sont mis en évidence par une activité neuronale améliorée, telle que l’augmentation des rapports d’amplitude ERD dans le cortex sensorimoteur, mettant en évidence les avantages de niveaux d’immersion plus élevés dans la stimulation de l’activité cérébrale lors d’exercices d’IM guidésvisuellement16. Le système aide à améliorer les performances de l’IM pour les tâches impliquant des mouvements du bras ou des membres en fournissant une rétroaction directe, améliorant ainsi le processus de réadaptation16,17. La synergie entre l’EM et la RV met l’accent sur l’intégration des activités sensorielles, perceptuelles, cognitives et motrices18,19. La combinaison a été particulièrement bénéfique pour les survivants d’un AVC20,21 et les anciens combattants22, car des études ont montré que l’intégration de la RV dans les protocoles de réadaptation basés sur l’EM peut réduire considérablement le temps de réadaptation et améliorer les résultats de rétablissement. La caractéristique unique de la RV dans la réadaptation réside dans sa capacité à créer un sentiment de présence dans un environnement virtuel spécialement conçu, améliorant ainsi l’expérience de réadaptation qui est encore augmentée par l’inclusion d’avatars virtuels représentant le corps de l’utilisateur, qui a été de plus en plus utilisé dans les études de réadaptation motrice23. Ces avatars offrent une représentation tridimensionnelle réaliste des mouvements des membres, ce qui aide à l’IM et a un impact significatif sur l’activation du cortex moteur. En permettant aux participants de visualiser leur moi virtuel en train d’effectuer des tâches spécifiques, la RV enrichit non seulement l’expérience de l’IM, mais favorise également un processus de réorganisation et de récupération neuronale plus rapide et plus efficace24. La mise en œuvre d’avatars virtuels et d’environnements simulés dans la formation en MI met l’accent sur l’utilisation naturelle et intégrée des corps virtuels dans des mondes virtuels immersifs.

Malgré les avantages remarquables du contrôle des avatars 3D basé sur l’ICM dans l’IM pour la réhabilitation, une limitation significative subsiste dans l’utilisation prédominante des méthodologies hors ligne. À l’heure actuelle, la plupart des applications BCI impliquent la capture de données d’électroencéphalographie (EEG) préenregistrées qui sont ensuite utilisées pour manipuler un avatar24,25. Même dans les scénarios où le contrôle de l’avatar en temps réel est réalisé, ces avatars sont souvent génériques et ne ressemblent pas aux participants qu’ils représentent23. Cette approche générique rate une occasion cruciale d’approfondir l’immersion et le sentiment d’appartenance corporelle, ce qui est crucial pour une réadaptation efficace24. La création d’un avatar 3D qui reflète la ressemblance exacte du sujet pourrait améliorer considérablement l’expérience immersive de l’expérience16. En se visualisant dans le monde virtuel, les participants pouvaient favoriser une connexion plus forte entre leurs mouvements imaginaires et réels, ce qui pouvait conduire à des modèles ERD plus prononcés et, par conséquent, à une adaptation et une récupération neuronales plus efficaces16. En progressant vers le contrôle en temps réel d’avatars 3D personnalisés, le domaine de la BCI et de la RV peut améliorer considérablement les paradigmes de réadaptation, en offrant une méthode plus nuancée, engageante et efficace pour le rétablissement des patients.

Le manuscrit actuel présente la création, la conception et les aspects technologiques du matériel et du logiciel du contrôle BCI en temps réel des avatars 3D basé sur la RV, en mettant en évidence ses résultats innovants qui soutiennent son intégration dans les paramètres de réadaptation motrice. Le système proposé utilisera l’électroencéphalographie (EEG) pour capturer les signaux d’imagerie motrice générés par le sujet, qui seront ensuite utilisés pour contrôler les mouvements et les actions de l’avatar en temps réel. L’approche actuelle combinera les capacités avancées de la technologie VR avec la précision de l’EEG dans la reconnaissance et l’interprétation de l’activité cérébrale liée à des mouvements imaginaires, dans le but de créer une interface plus attrayante et plus efficace permettant aux utilisateurs d’interagir avec les environnements numériques grâce à la puissance de leurs pensées.

Protocole

L’étude actuelle vise à étudier la faisabilité de contrôler un avatar 3D en temps réel dans un environnement VR à l’aide de signaux MI enregistrés via EEG. L’étude se concentre sur l’amélioration de l’immersion et du sentiment de propriété corporelle en personnalisant l’avatar pour qu’il ressemble de près au sujet. Le protocole a reçu l’approbation du Conseil d’examen du Vellore Institute of Technology. Les participants ont fourni un consentement éclairé écrit après avoir examiné l’objectif de l’étude, les procédures et les risques potentiels.

1. Dispositif expérimental

REMARQUE : Assurez-vous que le système intègre tous les composants tels que décrits dans le schéma de la configuration expérimentale à la figure 1 (voir le tableau des matériaux pour l’équipement utilisé).

  1. Développement d’avatars 3D
    1. Modélisation de l’avatar
      1. La veille de la collecte des données, recueillez plusieurs photographies faciales sous différents angles et des mesures corporelles précises de chaque participant.
      2. Cliquez sur Logiciel de modélisation pour l’ouvrir. Immédiatement après l’ouverture, trouvez le curseur Sexe. Ajustez ce curseur pour qu’il corresponde au sexe du modèle que vous souhaitez créer.
      3. Accédez à l’onglet Modélisation en haut de l’écran et cliquez sur l’onglet pour accéder aux options de personnalisation du corps.
      4. Utilisez les curseurs sous différentes sections, comme le torse, les bras, les jambes, etc., pour modéliser le corps. Concentrez-vous sur les mesures de base suivantes : taille, poitrine/buste, taille, hanches, longueur de la jambe et longueur du bras.
      5. Cliquez sur l’onglet Pose/Animate et sélectionnez le squelette par défaut pour les animations de base. Allez dans le menu Fichiers en haut, sélectionnez Exporter, puis choisissez le. Format MHX2 pour la compatibilité avec le logiciel d’animation. Assurez-vous de sélectionner l’option Exporter avec Rig pour inclure le squelette. Choisissez un dossier de destination, nommez le fichier, puis cliquez sur Exporter.
      6. Ouvrez le logiciel d’animation. Allez dans Fichier > Importer et sélectionnez .mhx2 ou le format à prévoir. Accédez au fichier enregistré, sélectionnez-le et importez-le dans le logiciel.
      7. Allez dans le menu Édition, sélectionnez Préférences > Add-ons et assurez-vous que le plugin approprié pour créer des visages est activé.
      8. Dans la fenêtre d’affichage 3D, passez au préréglage de mise en page fourni par le plugin ou accédez au panneau du plugin, généralement situé sur l’étagère à outils sur le côté gauche.
      9. Cliquez sur Créer une nouvelle tête dans le panneau du plugin pour démarrer le modèle de tête. Utilisez le bouton Ajouter une photo pour importer des photos du participant. Utilisez des profils avant et latéraux pour une modélisation précise.
      10. Suivez les instructions pour aligner les points sur les photos avec les points correspondants sur le modèle 3D. Le plugin ajustera ensuite le modèle de tête pour qu’il corresponde aux caractéristiques du participant. Une fois satisfait de la ressemblance, finalisez le modèle de tête.
      11. Positionnez manuellement le modèle de tête pour l’aligner avec le col du modèle de corps. Ajustez l’échelle et la rotation de la tête pour un ajustement sans faille.
      12. Utilisez l’outil Accrochage (Maj+Tab) pour aligner précisément les sommets du cou sur la tête avec ceux du corps.
      13. Une fois alignés, joignez la tête et le corps en sélectionnant les deux maillages, en appuyant sur Ctrl+J pour les joindre en un seul objet.
      14. Importez ou modélisez une paire de bongos et placez-les devant le modèle à une hauteur appropriée.
    2. Animation de l’avatar
      1. Passez en mode Pose pour le modèle truqué. À l’image 1, sélectionnez toutes les structures et insérez une image-clé (à l’aide de la touche I) pour que LocRotScale enregistre leurs positions initiales.
      2. Avancez la chronologie jusqu’à l’image 30 pour placer la main gauche pour frapper le bongo.
      3. Déplacez et tournez l’armature de la main gauche pour simuler la frappe du bongo. Insérez une image clé pour ces structures. Répétez ce processus pour ramener l’aiguille à sa position de départ à l’image 60, en insérant une autre image clé pour terminer l’action.
      4. Déplacez la chronologie jusqu’à l’image 90, où la main droite commence son action. De la même manière que pour la main gauche, ajustez la position et la rotation de la main droite pour simuler la frappe de l’autre bongo et insérez une image clé.
      5. Remettez la main dans sa position de départ et insérez une image clé pour terminer le mouvement à l’image 150.
      6. Parcourez la chronologie pour revoir l’animation. Ajustez au besoin pour un mouvement plus fluide ou un meilleur timing entre les coups de bongo. Enregistrez le fichier.
  2. Configuration de l’équipement
    1. Assemblez le système d’acquisition de données EEG à 16 canaux en fixant le module Daisy avec 8 canaux EEG sur le dessus de la carte avec 8 canaux EEG.
    2. Connectez l’électrode de référence via un câble Y-Splitter à la broche de référence inférieure de la Daisy Board et à la broche de référence inférieure de la carte en bas, qui sont toutes deux étiquetées SRB.
    3. Connectez l’électrode de terre à la broche BIAS sur le panneau inférieur.
    4. Connectez les 16 électrodes EEG aux broches inférieures de la carte étiquetées N1P-N8P et aux broches inférieures en guirlande étiquetées N1P-N8P.
    5. Insérez les électrodes sur le capuchon sans gel aux endroits étiquetés en adhérant au système international 10-20 pour le placement des électrodes avec les électrodes étiquetées FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 et T4.
    6. Faites tremper 18 éponges fournies pour les électrodes EEG dans une solution saline avec 5 g de chlorure de sodium mélangés à 200 mL d’eau du robinet pendant 15 min.
    7. Insérez les éponges imbibées sur la face inférieure de chaque électrode pour établir un contact entre le cuir chevelu et l’électrode.
    8. Faites en sorte que les participants s’assoient confortablement dans une pièce calme. Placez le capuchon EEG sans gel sur le cuir chevelu du participant, en vous assurant que le capuchon est correctement aligné pour s’adapter aux oreilles du participant.
    9. Connectez le dongle USB à l’ordinateur portable. Ouvrez l’interface graphique EEG, cliquez sur le système EEG, sous l’option Source de données, sélectionnez Série (à partir du dongle), 16 canaux et AUTO-CONNECT.
    10. Dans l’écran d’acquisition de données, sélectionnez le widget de signal pour vérifier la qualité du signal des électrodes connectées en vérifiant un niveau d’impédance optimal de <10 kΩ à chaque site d’électrode26.
    11. Si l’impédance est supérieure à 10 kΩ, ajoutez quelques gouttes de solution saline à l’éponge sous l’électrode. Après la vérification de l’impédance, fermez l’interface graphique.
    12. Ouvrez le logiciel du serveur d’acquisition, sélectionnez la carte EEG appropriée sous Pilote, puis cliquez sur Connecter > Play pour établir une connexion avec le système EEG.
    13. Préparez le casque VR en le désinfectant avec des lingettes et en le plaçant sur la tête du participant par-dessus le capuchon EEG pour faciliter une interaction immersive tout en capturant les données EEG.
  3. Configuration du jeu
    REMARQUE : les instructions suivantes décrivent la configuration de deux scénarios de moteur de jeu à l’aide d’Open Sound Control (OSC) : l’un pour l’entraînement à l’imagerie motrice (feedforward) et l’autre pour le test de l’imagerie motrice (feedback). Le scénario de rétroaction forme les utilisateurs à l’imagerie motrice par le biais d’animations observées déclenchées par des messages OSC. Le scénario de rétroaction teste l’efficacité de l’imagerie motrice en animant des mouvements imaginés par l’utilisateur sur la base des entrées OSC.
    1. Ouvrez le logiciel du moteur de jeu et sélectionnez Projet de formation à l’imagerie motorisée. Activer la prise en charge de la réalité virtuelle : accédez à Modifier les paramètres du projet > > > les paramètres XR, cochez Réalité virtuelle prise en charge et assurez-vous que le casque VR est répertorié sous SDK de réalité virtuelle.
    2. Supprimez la caméra par défaut et faites-la glisser dans la scène à partir du package d’intégration VR.
    3. Placez le fichier d’animation importé dans la scène. Ajustez l’échelle et l’orientation au besoin. Assurez-vous que l’OSCListener GameObject avec des scripts pré-écrits est configuré pour déclencher des animations de modèle pour les mouvements de la main gauche et de la main droite en fonction des messages OSC, en simulant l’action de frappe de bongo pour l’entraînement à l’imagerie motrice.
    4. Ouvrez Fichier > Paramètres de construction dans le logiciel du moteur de jeu. Sélectionnez PC, Mac et Linux autonome, ciblez Windows, puis cliquez sur Générer et exécuter.
    5. Pour le projet de test d’imagerie moteur, effectuez des étapes similaires à celles du projet de formation à l’imagerie motrice. Utilisez l’OSCListener GameObject configuré avec des scripts conçus pour recevoir des signaux OSC indiquant les mouvements de main imaginés du participant, déclenchant les animations correspondantes pour le projet de test.

figure-protocol-10142
Figure 1 : configuration VR-BCI. L’ensemble de la configuration VR-BCI montre le participant portant le casque VR et le casque EEG. Les participants ont visualisé l’avatar 3D personnalisé dans l’environnement virtuel et ont contrôlé son action à l’aide de signaux cérébraux transmis à l’ordinateur sans fil. Veuillez cliquer ici pour voir une version agrandie de cette figure.

2. Conception expérimentale

  1. Étape de vérification du signal
    1. Ouvrez l’outil logiciel pour concevoir et exécuter des scénarios d’imagerie motorisée, accédez à Fichier et chargez les six scénarios Motor-Imagery-BCI intitulés Vérification du signal, Acquisition, Formation CSP, Formation du classificateur, Test et Matrice de confusion.
    2. Accédez au scénario de vérification du signal. Appliquez un filtre passe-bande entre 1 et 40 Hz avec un ordre de filtre de 4 aux signaux bruts à l’aide de boîtiers design pour un traitement optimisé du signal.
  2. Étape de la formation
    1. Guidez et demandez aux participants d’effectuer des tâches d’imagerie motrice, en imaginant des mouvements de la main en réponse à des indices visuels.
    2. Ouvrez le fichier pour l’entraînement à l’imagerie motrice et affichez l’avatar 3D préparé debout au-dessus d’un ensemble de bongos à travers le casque VR.
    3. Accédez au scénario d’acquisition et double-cliquez sur le stimulateur d’imagerie motrice de Graz pour configurer la boîte.
    4. Configurez des essais de 50 à 5 s (repère de 1,25 s et MI-3,75 s) pour les mouvements de la main gauche et de la main droite, en incorporant une période de référence de 20 s suivie d’intervalles de 10 s de repos tous les 10 essais pour éviter la fatigue mentale.
    5. Configurez les essais de la main gauche et de la main droite pour qu’ils soient randomisés et ayez un repère avant l’essai indiquant la main à imaginer.
    6. Connectez un boîtier OSC avec l’adresse IP et le port pour transmettre le signal de la main à imaginer au programme de moteur de jeu d’entraînement à l’imagerie motrice.
    7. Demandez aux participants d’imaginer exécuter le mouvement de leur main avec l’avatar 3D en suivant le même rythme que l’avatar lorsqu’il frappe le bongo avec la main correspondante, en suivant un signal de texte indiquant quelle main doit être imaginée.
  3. Formation sur les PSC et les GMA
    1. Après l’acquisition, exécutez le scénario d’entraînement CSP pour analyser les données EEG de l’étape d’acquisition et calculer des modèles spatiaux communs (CSP), en créant des filtres pour distinguer les images de gauche et de droite.
    2. Après l’entraînement CSP, accédez au scénario d’entraînement du classificateur et exécutez-le pour utiliser l’analyse discriminante linéaire (LDA) à l’aide des filtres CSP pour une classification efficace des tâches, préparant ainsi le système pour le contrôle de l’avatar en temps réel.
  4. Étape de test
    1. Accédez au scénario de test pour que les participants puissent contrôler leurs avatars 3D en temps réel à l’aide de la technologie d’interface cerveau-ordinateur (BCI).
    2. Chargez dans les cases appropriées les classificateurs entraînés lors du scénario précédent sur les données EEG capturées pendant que les participants imaginaient des mouvements de la main pour interpréter ces actions imaginées en temps réel.
    3. Assurez-vous que le système EEG et la configuration VR sont opérationnels et correctement configurés conformément aux paramètres de l’étape de formation.
    4. Expliquez aux participants la procédure de test, en insistant sur la nécessité d’imaginer clairement les mouvements de la main (frappe de bongo de la main gauche ou de la main droite) tels qu’ils sont suggérés par des indices textuels.
    5. Semblable à l’étape de formation, effectuez 20 essais pour chaque participant, divisés à parts égales entre l’imagination des mouvements de la main gauche et de la main droite et randomisés.
    6. Connectez et configurez une boîte OSC pour transmettre les informations de repère à afficher sous forme de texte indiquant quelle main être imagée dans le programme du moteur de jeu.
    7. Connectez-vous à une autre boîte OSC pour transmettre la valeur prédite des mouvements de la main gauche et de la main droite pour que le programme du moteur de jeu joue l’animation correspondante en fonction de la main imaginée par le participant.
    8. Exécutez le scénario de test. Exécutez le programme de moteur de jeu Motor Imagery Testing.

3. Collecte et analyse des données

  1. Enregistrez en continu les données EEG et les sorties du classificateur pendant les phases d’acquisition et de test de l’expérience, avec des données échantillonnées à 125 Hz.
  2. Accédez au scénario Matrice de confusion et chargez le fichier EEG acquis dans la zone intitulée Lecteur de flux générique pour chaque participant et pour les étapes d’acquisition et de formation.
  3. Exécutez le scénario pour obtenir la matrice de confusion afin d’évaluer la précision avec laquelle le système BCI interprète les signaux d’imagerie motrice.
  4. Recueillez les commentaires des participants concernant leur expérience de la facilité d’utilisation, des capacités de contrôle, du niveau d’immersion et du confort de l’avatar lorsqu’il porte le casque EEG et le casque VR.

Résultats

Les résultats présentés proviennent de 5 personnes qui ont suivi le protocole décrit ci-dessus. Au total, 5 adultes en bonne santé (3 femmes) âgés de 21 à 38 ans ont participé à l’étude.

La figure 2 montre les performances de classification individuelles de chaque participant dans des conditions d’entraînement et de test d’imagerie motrice. Une matrice de confusion moyenne pour tous les sujets a été calculée afin d’évaluer la précision du ...

Discussion

L’application de l’EM en conjonction avec la technologie VR offre une voie prometteuse pour la réadaptation en exploitant les mécanismes naturels du cerveau pour la planification et l’exécution motrices. La capacité de l’IM à induire une désynchronisation liée à un événement dans des bandes de fréquences cérébrales spécifiques, reflétant l’activité neuronale du mouvement physique 2,3,4, fournit un cadre...

Déclarations de divulgation

Les auteurs n’ont aucun conflit d’intérêts à divulguer.

Remerciements

Les auteurs tiennent à remercier tous les participants pour leur temps et leur implication.

matériels

NameCompanyCatalog NumberComments
Alienware LaptopDellHigh-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headsetMetaVR headset
OpenBCI Cyton DaisyOpenBCIEEG system
OpenBCI Gel-free capOpenBCIGel-free cap for placing the EEG electrodes over the participant's scalp

Références

  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. . Implicit learning through embodiment in immersive virtual reality. , (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865 (2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204 (2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909 (2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85 (2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895 (2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218 (2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329 (2019).

Réimpressions et Autorisations

Demande d’autorisation pour utiliser le texte ou les figures de cet article JoVE

Demande d’autorisation

Explorer plus d’articles

Imagerie motriceInterface cerveau ordinateurR alit virtuelleJumeau num riqueInteraction incarn eR ducation neurologiqueEEGR troaction immersive

This article has been published

Video Coming Soon

JoVE Logo

Confidentialité

Conditions d'utilisation

Politiques

Recherche

Enseignement

À PROPOS DE JoVE

Copyright © 2025 MyJoVE Corporation. Tous droits réservés.