Une interface cerveau-ordinateur portable à canal unique et non invasive pour l’industrie et les soins de santé

Résumé

Cet article explique comment construire une interface cerveau-ordinateur en s’appuyant sur un équipement de qualité grand public et des potentiels évoqués visuellement à l’état stable. Pour cela, un électroencéphalographe monocanal exploitant des électrodes sèches a été intégré à des lunettes de réalité augmentée pour la présentation des stimuli et la visualisation des données de sortie. Le système final était non invasif, portable et portable.

Résumé

Le présent travail se concentre sur la façon de construire une interface cerveau-ordinateur portable (BCI). Les BCI sont un nouveau moyen d’interaction homme-machine qui repose sur des mesures directes des signaux cérébraux pour aider à la fois les personnes handicapées et les personnes valides. Les exemples d’application incluent le contrôle robotique, l’inspection industrielle et la neuroréhabilitation. Des études récentes ont notamment montré que les potentiels évoqués visuels à l’état stable (SSVEP) sont particulièrement adaptés aux applications de communication et de contrôle, et des efforts sont actuellement déployés pour intégrer la technologie BCI dans la vie quotidienne. Pour atteindre cet objectif, le système final doit s’appuyer sur une instrumentation portable, portable et peu coûteuse. Dans l’exploitation des SSVEP, un stimulus visuel vacillant avec des fréquences fixes est nécessaire. Ainsi, en considérant les contraintes de la vie quotidienne, la possibilité de fournir des stimuli visuels au moyen de lunettes intelligentes a été explorée dans cette étude. De plus, pour détecter les potentiels suscités, un appareil commercial d’électroencéphalographie (EEG) a été envisagé. Il s’agit d’un seul canal différentiel avec des électrodes sèches (pas de gel conducteur), obtenant ainsi la plus grande portabilité et portabilité. Dans un tel BCI, l’utilisateur peut interagir avec les lunettes intelligentes en regardant simplement les icônes apparaissant sur l’écran. Sur ce principe simple, un BCI convivial et peu coûteux a été construit en intégrant des lunettes de réalité étendue (XR) à un appareil EEG disponible dans le commerce. La fonctionnalité de ce XR-BCI portable a été examinée avec une campagne expérimentale impliquant 20 sujets. La précision de classification était comprise entre 80% et 95% en moyenne en fonction du temps de stimulation. Compte tenu de ces résultats, le système peut être utilisé comme interface homme-machine pour l’inspection industrielle mais aussi pour la réadaptation dans le TDAH et l’autisme.

Introduction

Une interface cerveau-ordinateur (BCI) est un système permettant la communication et/ou le contrôle de dispositifs sans voies neuronales naturelles¹. La technologie BCI est ce qui se rapproche le plus du contrôle des objets avec le pouvoir de l’esprit. D’un point de vue technique, le fonctionnement du système fonctionne en mesurant l’activité cérébrale induite ou évoquée, qui pourrait être générée involontairement ou volontairement par le sujet². Historiquement, la recherche s’est concentrée sur l’aide aux personnes ayant un handicap moteur grâce à BCI³, mais un nombre croissant d’entreprises proposent aujourd’hui des instruments basés sur BCI pour les jeux⁴, la robotique⁵, l’industrie⁶ et d’autres applications impliquant une interaction homme-machine. En particulier, les BCI peuvent jouer un rôle dans la quatrième révolution industrielle, à savoir l’industrie 4.0⁷, où les systèmes de production cyber-physiques modifient l’interaction entre les humains et l’environnement⁸. D’une manière générale, le projet européen BNCI Horizon 2020 a identifié des scénarios d’application tels que le remplacement, la restauration, l’amélioration, l’amélioration ou le complément des fonctions naturelles perdues du système nerveux central, ainsi que l’utilisation des BCI dans l’étude du cerveau⁹.

Dans ce cadre, les progrès technologiques récents signifient que les interfaces cerveau-ordinateur peuvent être applicables à une utilisation dans la vie quotidienne^10,11. Pour atteindre cet objectif, la première exigence est le caractère non invasif, ce qui est important pour éviter les risques d’une intervention chirurgicale et accroître l’acceptation par les utilisateurs. Cependant, il convient de noter que le choix de la neuroimagerie non invasive affecte la qualité des signaux cérébraux mesurés, et que la conception du BCI doit alors traiter les pièges associés¹². De plus, la portabilité et la portabilité sont requises. Ces exigences sont conformes à la nécessité d’un système convivial mais posent également certaines contraintes. Dans l’ensemble, les contraintes matérielles mentionnées sont résolues par l’utilisation d’un système électroencéphalographique (EEG) avec des électrodes sans gel⁶. Un tel BCI basé sur l’EEG serait également peu coûteux. Pendant ce temps, en ce qui concerne le logiciel, une formation minimale des utilisateurs (ou idéalement aucune formation) serait souhaitée; À savoir, il serait préférable d’éviter de longues périodes pour régler l’algorithme de traitement avant que l’utilisateur puisse utiliser le système. Cet aspect est essentiel dans les BCI en raison de la non-stationnarité inter-sujets et intra-sujets^13,14.

La littérature antérieure a démontré que la détection des potentiels cérébraux évoqués est robuste en ce qui concerne la non-stationnarité et le bruit dans l’acquisition du signal. En d’autres termes, les BCI s’appuyant sur la détection du potentiel évoqué sont appelés réactifs et sont les BCI les plus performants en termes de reconnaissance des formes cérébrales¹⁵. Néanmoins, ils nécessitent une stimulation sensorielle, ce qui est probablement le principal inconvénient de telles interfaces. L’objectif de la méthode proposée est donc de construire un BCI hautement portable et portable reposant sur des instruments portables et prêts à l’emploi. Les stimuli sensoriels consistent ici en des lumières vacillantes, générées par des lunettes intelligentes, capables de générer des potentiels évoqués visuellement à l’état stable (SSVEP). Des travaux antérieurs ont déjà envisagé d’intégrer BCI à la réalité virtuelle seule ou en conjonction avec la réalité augmentée¹⁶. Par exemple, un système BCI-AR a été proposé pour contrôler un quadricoptère avec SSVEP¹⁷. La réalité virtuelle, la réalité augmentée et d’autres paradigmes sont désignés par le terme réalité étendue. Dans un tel scénario, le choix des lunettes intelligentes est conforme aux exigences de portabilité et de portabilité, et les lunettes intelligentes peuvent être intégrées avec une configuration d’acquisition EEG minimale. Cet article montre que le BCI basé sur SSVEP nécessite également une formation minimale tout en obtenant des performances de classification acceptables pour les applications de communication et de contrôle à faible et moyenne vitesse. Par conséquent, la technique est appliquée au BCI pour les applications de la vie quotidienne, et elle semble particulièrement adaptée à l’industrie et aux soins de santé.

Protocole

L’étude a été approuvée par le Comité éthique de la recherche psychologique du Département des sciences humaines de l’Université de Naples Federico II. Les volontaires ont signé un consentement éclairé avant de participer aux expériences.

1. Préparation de l’interface cerveau - ordinateur portable non invasive

1. Procurez-vous un électroencéphalographe grand public à faible coût avec électrodes sèches et configurez-le pour une utilisation monocanal.
   1. Court-circuiter ou connecter tout canal d’entrée inutilisé sur l’électroencéphalographe à faible coût à une tension de référence interne spécifiée par la fiche technique inhérente. Ce faisant, les canaux inutilisés sont désactivés et ne génèrent pas de bruit de diaphonie.
   2. Ajuster le gain de l’électroencéphalographe (généralement à travers un composant à résistance variable) pour avoir une plage d’entrée de l’ordre de 100 μV.
      REMARQUE: Les signaux EEG à mesurer sont de l’ordre de dizaines de microvolts. Cependant, les électrodes sèches sont grandement affectées par les artefacts de mouvement, qui entraînent des oscillations de l’ordre de 100 μV en raison de la variabilité de l’impédance électrode-peau. L’augmentation de la plage de tension d’entrée permet de limiter la saturation de l’amplificateur EEG, mais ne l’élimine pas complètement. D’autre part, il serait peu pratique d’augmenter encore plus la plage de tension d’entrée, car cela affecterait la résolution de tension lors de la mesure des composants EEG souhaités. En fin de compte, les deux aspects doivent être équilibrés en tenant également compte de la résolution binaire du convertisseur analogique-numérique à l’intérieur de la carte électroencéphalographique.
   3. Préparez trois électrodes sèches à connecter à la carte électroencéphalographique. Utiliser une électrode passive (pas de préamplification) comme électrode de référence. Les deux autres électrodes de mesure devraient être actives (c.-à-d. impliquer une préamplification et un éventuel filtrage analogique).
      REMARQUE: Les électrodes placées sur une zone poilue du cuir chevelu nécessitent des broches pour surmonter l’impédance de contact électrode-peau. Si possible, soudez des broches argentées avec des têtes plates (pour éviter trop de douleur pour l’utilisateur) ou, idéalement, utilisez du caoutchouc conducteur (souple) avec un revêtement Ag/AgCl.
2. Procurez-vous des lunettes intelligentes commerciales avec un système d’exploitation Android et un taux de rafraîchissement de 60 Hz. Vous pouvez également utiliser un taux de rafraîchissement inférieur. Un taux de rafraîchissement plus élevé serait souhaitable pour les stimuli car il y aurait moins de fatigue oculaire, mais il n’y a pas de solutions actuellement disponibles sur le marché.
   1. Téléchargez le code source d’une application Android pour la communication ou le contrôle, ou développez-en une.
   2. Remplacez les boutons virtuels de l’application par des icônes scintillantes en modifiant l’objet inhérent (généralement en Java ou Kotlin). Des carrés blancs avec au moins 5% de dimension d’écran sont recommandés. Habituellement, plus le carré stimulant est grand, plus le composant SSVEP à détecter sera élevé, mais un optimum peut être trouvé en fonction du cas spécifique. Les fréquences recommandées sont 10 Hz et 12 Hz de scintillement. Implémentez le scintillement sur l’unité de traitement graphique (GPU) pour éviter de surcharger l’unité de calcul (CPU) des lunettes intelligentes. Pour ce faire, utilisez des objets de la bibliothèque OpenGL.
   3. Mettre en œuvre un module de l’application Android pour le traitement en temps réel du flux EEG d’entrée. Le service USB Android peut être ajouté afin que le flux puisse être reçu via USB. Le traitement en temps réel peut simplement appliquer une fenêtre coulissante au flux EEG en considérant les paquets entrants. Calculez les densités spectrales de puissance associées aux fréquences 10 Hz et 12 Hz grâce à une fonction de transformée de Fourier rapide. Un classificateur entraîné peut donc distinguer que l’utilisateur regarde l’icône scintillante de 10 Hz ou l’icône de scintillement de 12 Hz en classant les caractéristiques de densité spectrale de puissance.

2. Calibrer l’interface cerveau-ordinateur basée sur SSVEP

NOTE: Des volontaires sains ont été choisis pour cette étude. Exclure les sujets ayant des antécédents de maladies du cerveau. Les sujets impliqués devaient avoir une vision normale ou corrigée à la normale. Ils ont reçu l’ordre de se détendre pendant les expériences et d’éviter les mouvements inutiles, en particulier de la tête.

1. Laissez l’utilisateur porter les lunettes intelligentes avec l’application Android.
2. Laissez l’utilisateur porter un bandeau serré pour tenir les électrodes.
3. Connectez l’électroencéphalographe à faible coût à un PC via un câble USB pendant que le PC est déconnecté de l’alimentation principale.
   1. Déconnectez initialement toutes les électrodes de la carte d’acquisition de l’électroencéphalographe pour partir d’une condition connue.
   2. Dans cette phase, le flux EEG est traité hors ligne sur le PC avec un script compatible avec le traitement implémenté dans l’application Android. Démarrez le script pour recevoir les signaux EEG et les visualiser.
4. Vérifiez le signal affiché qui est traité hors ligne. Celui-ci doit correspondre uniquement au bruit de quantification de l’amplificateur EEG.
5. Connectez les électrodes.
   1. Appliquez l’électrode passive sur l’oreille gauche à l’aide d’un clip personnalisé ou utilisez une électrode à pince auriculaire. Le signal de sortie doit rester inchangé à cette étape car le canal différentiel de mesure est toujours un circuit ouvert.
   2. Connectez une électrode active à la borne négative de l’entrée différentielle du canal EEG de mesure et appliquez-la sur la région frontale (emplacement standard FPZ) avec un bandeau. Après quelques secondes, le signal devrait revenir à zéro (bruit de quantification).
   3. Connectez l’autre électrode active à la borne positive de l’entrée différentielle du canal EEG de mesure et appliquez-la sur la région occipitale (emplacement standard d’Oz) avec le bandeau. Un signal cérébral est maintenant affiché, qui correspond à l’activité visuelle mesurée par rapport à la zone frontale du cerveau (aucune activité visuelle n’y est prévue).
6. Acquérir des signaux pour l’étalonnage du système.
   1. Stimulez à plusieurs reprises l’utilisateur avec des icônes scintillantes de 10 Hz et 12 Hz (et éventuellement d’autres) en démarrant l’icône de scintillement dans l’application Android, et acquérez et enregistrez les signaux EEG inhérents pour un traitement hors ligne. Assurez-vous que chaque stimulation de cette phase consiste en une seule icône scintillante pendant 10 s et démarrez l’icône scintillante en appuyant sur le pavé tactile des lunettes intelligentes tout en démarrant le script d’acquisition et de visualisation EEG.
   2. Des signaux de 10 s associés à chaque stimulation, extrayez deux caractéristiques en utilisant la transformée de Fourier rapide : la densité spectrale de puissance à 10 Hz et à 12 Hz. Alternativement, considérons les secondes harmoniques (20 Hz et 24 Hz).
   3. Utilisez une représentation des signaux acquis dans le domaine des entités pour former un classificateur de machine à vecteurs de support. Utilisez un outil (en Matlab ou Python) pour identifier les paramètres d’un hyperplan avec un noyau éventuel basé sur les fonctionnalités d’entrée. Le modèle formé sera capable de classer les observations futures des signaux EEG.

3. Assembler l’interface SSVEP portable et portable finale

1. Déconnectez le câble USB du PC et connectez-le directement aux lunettes intelligentes.
2. Insérez les paramètres du classificateur entraîné dans l’application Android. Le système est maintenant prêt.

Résultats

Une mise en œuvre possible du système décrit ci-dessus est illustrée à la figure 1; Cette implémentation permet à l’utilisateur de naviguer en réalité augmentée grâce à l’activité cérébrale. Les icônes scintillantes sur l’écran des lunettes intelligentes correspondent aux actions de l’application (Figure 1A) et, par conséquent, ces lunettes représentent un substitut à une interface traditionnelle bas?...

Discussion

Le bon fonctionnement du système implique deux aspects cruciaux: l’élicitation SSVEP et l’acquisition du signal. Outre les dispositifs spécifiques choisis pour la présente étude, SSVEP pourrait être déclenché avec différents dispositifs fournissant une lumière vacillante, bien que les lunettes intelligentes soient préférées pour assurer la portabilité et la portabilité. De même, d’autres électroencéphalographes commerciaux pourraient être envisagés, mais ils devraient être portables, portables ...

matériels

Name	Company	Catalog Number	Comments
Conductive rubber with Ag/AgCl coating	ab medica s.p.a.	N/A	Alternative electrodes – type 2
Earclip electrode	OpenBCI	N/A	Ear clip
EEG-AE	Olimex	N/A	Active electrodes
EEG-PE	Olimex	N/A	Passive electrode
EEG-SMT	Olimex	N/A	Low-cost electroencephalograph
Moverio BT-200	Epson	N/A	Smart glasses
Snap electrodes	OpenBCI	N/A	Alternative electrodes – type 1