Estimation des performances du correcteur orthographique de l’interface cerveau-ordinateur basée sur P300 avec estimation de la latence basée sur le classificateur

Résumé

Cet article présente une méthode d’estimation de la précision de l’interface cerveau-ordinateur (BCI) du correcteur orthographe P300 le jour même à l’aide d’un petit ensemble de données de test.

Résumé

L’estimation des performances est une étape nécessaire dans le développement et la validation des systèmes d’interface cerveau-ordinateur (BCI). Malheureusement, même les systèmes BCI modernes sont lents, ce qui rend la collecte de données suffisantes pour la validation une tâche fastidieuse pour les utilisateurs finaux et les expérimentateurs. Pourtant, sans données suffisantes, la variation aléatoire des performances peut conduire à de fausses inférences sur le fonctionnement d’une BCI pour un utilisateur particulier. Par exemple, les orthographes P300 fonctionnent généralement autour de 1 à 5 caractères par minute. Pour estimer la précision avec une résolution de 5 %, il faut 20 caractères (4 à 20 min). Malgré cet investissement en temps, les limites de confiance pour la précision à partir de 20 caractères peuvent atteindre ±23 % selon la précision observée. Une méthode publiée précédemment, l’estimation de la latence basée sur le classificateur (CBLE), s’est avérée fortement corrélée à la précision des BCI. Ce travail présente un protocole d’utilisation de CBLE pour prédire la précision de l’orthographe P300 d’un utilisateur à partir de relativement peu de caractères (~3-8) de données de frappe. Les limites de confiance qui en résultent sont plus étroites que celles produites par les méthodes traditionnelles. La méthode peut ainsi être utilisée pour estimer les performances des BCI plus rapidement et/ou plus précisément.

Introduction

Les interfaces cerveau-ordinateur (BCI) sont une technologie non invasive qui permet aux individus de communiquer directement par le biais de machines sans tenir compte des limitations physiques imposées par le corps. BCI peut être utilisé comme un dispositif d’assistance actionné directement par le cerveau. BCI utilise l’activité cérébrale d’un utilisateur pour déterminer si l’utilisateur a l’intention de choisir une certaine touche (lettre, chiffre ou symbole) affichée à l’écran¹. Dans un système informatique typique, un utilisateur appuie physiquement sur la touche prévue d’un clavier. Cependant, dans un système BCI avec un affichage visuel, l’utilisateur doit se concentrer sur la touche souhaitée. Ensuite, BCI sélectionnera la clé prévue en analysant les signaux cérébraux mesurés¹. L’activité du cerveau peut être mesurée à l’aide de différentes techniques. Bien qu’il existe des technologies BCI concurrentes, l’électroencéphalogramme (EEG) est considéré comme une technique de pointe en raison de sa nature non invasive, de sa haute résolution temporelle, de sa fiabilité et de son coût relativement faible².

Les applications de BCI comprennent la communication, le contrôle des appareils et le divertissement 3,4,5,6. L’un des domaines d’application les plus actifs de la BCI est l’orthographe P300, qui a été introduit par Farwell et Donchin⁷. Le P300 est un potentiel lié à l’événement (ERP) produit en réponse à la reconnaissance d’un stimulus rare mais pertinent⁸. Lorsqu’une personne reconnaît son stimulus cible, elle produit automatiquement un P300. Le P300 est un signal efficace pour une BCI car il transmet la reconnaissance par le participant de l’événement cible sans nécessiter de réponse extérieure⁹.

Le P300 BCI a attiré des chercheurs en informatique, en génie électrique, en psychologie, en facteurs humains et dans diverses autres disciplines. Des progrès ont été réalisés dans le traitement du signal, les algorithmes de classification, les interfaces utilisateur, les schémas de stimulation et bien d’autres domaines 10,11,12,13,14,15. Cependant, quel que soit le domaine de recherche, le fil conducteur de toutes ces recherches est la nécessité de mesurer les performances du système BCI. Cette tâche nécessite généralement la génération d’un jeu de données de test. Cette nécessité ne se limite pas à la recherche ; Une éventuelle application clinique en tant que technologie d’assistance nécessitera probablement des ensembles de validation individuels pour chaque utilisateur final afin de garantir que le système peut générer une communication fiable.

Malgré les recherches considérables appliquées au P300 BCI, les systèmes sont encore assez lents. Alors que la majorité des gens sont capables d’utiliser un P300 BCI¹⁶, la plupart des orthographes P300 produisent du texte de l’ordre de 1 à 5 caractères par minute. Malheureusement, cette vitesse lente signifie que la génération d’ensembles de données de test nécessite beaucoup de temps et d’efforts pour les participants, les expérimentateurs et les utilisateurs finaux éventuels. La mesure de la précision du système BCI est un problème d’estimation des paramètres binomiaux, et de nombreux caractères de données sont nécessaires pour une bonne estimation.

Pour estimer la présence ou l’absence de l’ERP P300, la plupart des classificateurs utilisent un modèle de classification binaire, qui consiste à attribuer une étiquette binaire (par exemple, « présence » ou « absence ») à chaque essai ou époque de données EEG. L’équation générale utilisée par la plupart des classificateurs peut être exprimée comme suit :

où est appelé le score du classificateur, qui représente la probabilité que la réponse P300 soit présente, x est le vecteur caractéristique extrait du signal EEG, et b est un terme de biais¹⁷. La fonction f est une fonction de décision qui mappe les données d’entrée à l’étiquette de sortie et est apprise à partir d’un ensemble de données d’entraînement étiquetées à l’aide d’un algorithme d’apprentissage supervisé¹⁷. Pendant l’entraînement, le classificateur est entraîné sur un ensemble de données étiquetées de signaux EEG, où chaque signal est étiqueté comme ayant une réponse P300 ou non. Le vecteur de poids et le terme de biais sont optimisés pour minimiser l’erreur entre la sortie prédite du classificateur et l’étiquette réelle du signal EEG. Une fois le classificateur entraîné, il peut être utilisé pour prédire la présence de la réponse P300 dans de nouveaux signaux EEG.

Différents classificateurs peuvent utiliser différentes fonctions de décision, telles que l’analyse discriminante linéaire (LDA), l’analyse discriminante linéaire par étapes (SWLDA), les moindres carrés (LS), la régression logistique, les machines à vecteurs de support (SVM) ou les réseaux neuronaux (NN). Le classificateur des moindres carrés est un classificateur linéaire qui minimise la somme des erreurs quadratiques entre les étiquettes de classe prédites et les étiquettes de classe réelles. Ce classificateur prédit l’étiquette de classe d’un nouvel échantillon de test à l’aide de l’équation suivante :

(1)

où la fonction signe renvoie +1 si le produit est positif et -1 s’il est négatif, et le vecteur de poids est obtenu à partir de l’ensemble des caractéristiques des données d’entraînement, (x) et des étiquettes de classe (y) à l’aide de l’équation ci-dessous :

    (2)

Dans des recherches antérieures, nous avons soutenu que l’estimation de la latence basée sur le classificateur (CBLE) peut être utilisée pour estimer la précision de la BCI 17,18,19. CBLE est une stratégie d’évaluation de la variation de latence en exploitant la sensibilité temporelle du classificateur¹⁸. Alors que l’approche conventionnelle de la classification P300 implique l’utilisation d’une seule fenêtre temporelle synchronisée avec chaque présentation de stimulus, la méthode CBLE implique la création de plusieurs copies décalées dans le temps des époques post-stimulus. Ensuite, il détecte le décalage temporel qui aboutit au score maximum afin d’estimer la latence de la réponse P300^17,18. Ici, ce travail présente un protocole qui estime les performances BCI à partir d’un petit ensemble de données à l’aide de CBLE. En tant qu’analyse représentative, le nombre de caractères est varié pour faire des prédictions sur la performance globale d’un individu. Pour les deux exemples de jeux de données, l’erreur quadratique moyenne (RMSE) pour vCBLE et la précision réelle de la BCI ont été calculées. Les résultats indiquent que l’EQM des prédictions vCBLE, en utilisant ses données ajustées, était systématiquement inférieure à la précision dérivée de 1 à 7 caractères testés.

Nous avons développé une interface utilisateur graphique (GUI) appelée « CBLE Performance Estimation » pour la mise en œuvre de la méthodologie proposée. L’exemple de code est également fourni (Supplementary Coding File 1) qui fonctionne sur la plate-forme MATLAB. L’exemple de code effectue toutes les étapes appliquées dans l’interface graphique, mais les étapes sont fournies pour aider le lecteur à s’adapter à un nouveau jeu de données. Ce code utilise un ensemble de données accessible au public « Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) » pour évaluer la méthode proposée²⁰. Les participants ont joué jusqu’à trois sessions de jeu de Brain Invaders, chaque session ayant 9 niveaux de jeu. La collecte de données s’est poursuivie jusqu’à ce que tous les niveaux soient terminés ou que le participant perde tout contrôle sur le système BCI. L’interface de Brain Invaders comprenait 36 symboles qui clignotaient en 12 groupes de six extraterrestres. Selon le paradigme Brain Invaders P300, une répétition a été créée par 12 flashs, un pour chaque groupe. Sur ces 12 flashs, deux flashs contenaient le symbole de la cible (appelés flashs de cible), tandis que les 10 autres ne contenaient pas le symbole de la cible (appelés flashs non cibles). Plus d’informations sur ce paradigme peuvent être trouvées dans la référence originale²⁰.

L’approche CBLE a également été mise en œuvre sur un ensemble de données du Michigan, qui contenait des données provenant de 40 participants^18,19. Ici, les données de huit participants ont dû être éliminées parce que leurs tâches étaient incomplètes. L’ensemble de l’étude a nécessité trois visites de chaque participant. Le premier jour, chaque participant a tapé une phrase d’entraînement de 19 caractères, suivie de trois phrases de test de 23 caractères les jours 1, 2 et 3. Dans cet exemple, le clavier comprenait 36 caractères qui étaient regroupés en six lignes et six colonnes. Chaque ligne ou colonne a été flashée pendant 31,25 millisecondes avec un intervalle de 125 millisecondes entre les clignotements. Entre les personnages, une pause de 3,5 s a été prévue.

La figure 1 montre le schéma fonctionnel de la méthode proposée. La procédure détaillée est décrite dans la section protocole.

Protocole

L’interface graphique « CBLE Performance Estimation » a été appliquée à deux ensembles de données : l’ensemble de données « BrainInvaders » et l’ensemble de données Michigan. Pour le jeu de données « BrainInvaders », la collecte de données a été approuvée par le Comité d’éthique de l’Université Grenoble Alpes²⁰. Les données du Michigan ont été recueillies avec l’approbation du Conseil d’examen institutionnel de l’Université du Michigan¹⁹. Les données ont été analysées selon le protocole d’exemption 7516 de l’Université d’État du Kansas. Si vous recueillez de nouvelles données, suivez le processus approuvé par le CISR pour recueillir le consentement éclairé de l’utilisateur. Ici, le protocole proposé est évalué à l’aide d’une analyse hors ligne de données précédemment enregistrées et anonymisées et ne nécessite donc pas de consentement éclairé supplémentaire.

L’interface utilisateur graphique (GUI) incluse dans cet article est compétente dans la gestion de deux formats de jeux de données distincts. Le premier format est associé au logiciel BCI2000, tandis que le second format est appelé l’ensemble de données « BrainInvaders ». Afin d’utiliser le format « Brain Invaders », les données doivent être prétraitées comme décrit à l’étape 1 de la section protocole. Cependant, lorsqu’il s’agit du format de l’ensemble de données « BCI2000 », l’étape 1 peut être omise.

1. Préparation des données

1. BrainInvaders uniquement : Génère le fichier de données d’entrée au format de fichier « .mat » qui peut être utilisé avec l’interface utilisateur graphique (GUI) « CBLE performance Estimation ». Pour un exemple de script, reportez-vous au Fichier de codage supplémentaire 2.
   REMARQUE : Chaque fichier de données est constitué d’une matrice bidimensionnelle composée de lignes qui représentent les observations enregistrées à des échantillons temporels distincts. Les colonnes matricielles numérotées de 2 à 17 sont des enregistrements dérivés de 16 électrodes EEG. La première colonne de la matrice indique l’horodatage de chaque observation, tandis que la colonne 18 comprend des informations relatives aux événements expérimentaux. Dans la colonne 19, il y a principalement des zéros, mais lorsqu’un flash non cible (ou cible) démarre, les nombres passent à un (ou deux) à ce moment précis. Une description détaillée se trouve dans la référence²⁰.

2. Téléchargement et installation du package GUI

1. Téléchargez et installez l’interface graphique « CBLE Performance Estimation ».

3. Stockage de l’ensemble de données dans un sous-dossier de l’emplacement de l’interface graphique

1. Assurez-vous que le dossier du jeu de données reste dans le même répertoire que l’interface graphique.
2. Par exemple, créez un nouveau dossier et placez-y l’interface graphique « CBLE Performance Estimation ». Conservez tous les jeux de données dans un sous-dossier dans « CBLE GUI » nommé « Dataset ».

4. Ouverture de l’interface graphique installée

1. Ouvrez MATLAB (voir Table of Materials), changez le répertoire actuel dans le dossier où l’interface graphique est placée, cliquez sur l’onglet APPS et sélectionnez MY APPS.
2. Sous l’onglet « MES APPLICATIONS », sélectionnez Estimation des performances CBLE.

5. Choix du format du jeu de données

1. Sélectionnez un format de jeu de données dans la liste déroulante Sélectionner le format du jeu de données.

6. Chargement du fichier de données EEG

1. Cliquez sur le bouton Sélectionner le dossier d’entrée pour choisir le répertoire où se trouve le jeu de données.
2. Observez le nombre de fichiers de données présents dans ce dossier sélectionné.
   NOTE : Dans le format « Brain Invaders », chaque participant est représenté par un seul fichier de données. Par conséquent, le nombre total de fichiers de données indique le nombre de participants à l’étude. Cependant, ce n’est pas le cas pour le format « BCI2000 », car chaque participant peut avoir plusieurs fichiers d’entraînement et de test.

7. Réglage des paramètres

1. Tapez le nombre de participants que l’utilisateur a l’intention d’utiliser pour le processus d’estimation dans la section « Non. des participants ».
2. BrainInvaders uniquement : spécifiez le taux d’échantillonnage du jeu de données.
   REMARQUE : BCI2000 fichiers incluent la fréquence d’échantillonnage.
3. Choisissez une valeur de décimation pour sous-échantillonner le jeu de données à environ 20 Hz afin d’améliorer les performances de classification²¹. Par exemple, si la fréquence d’échantillonnage est de 256 Hz, sélectionnez une valeur de décimation de 13.
4. Spécifiez la fenêtre de temps pour la classification en millisecondes.
   REMARQUE : La taille de fenêtre initiale recommandée est spécifiée, ce qui permet au point de départ de varier de 0 à 100 ms et au point d’arrivée de 700 à 800 ms. Cependant, il est important d’éviter de rendre la taille de la fenêtre trop grande pour éviter tout chevauchement avec un autre événement P300.
5. Définissez la fenêtre de décalage pour CBLE en millisecondes.
   NOTA : La « fenêtre de décalage » fait référence à la plage de temps étendue que la méthode CBLE recherche pour trouver la réponse P3. Le classificateur sera appliqué à l’époque à partir du premier élément de la fenêtre de décalage. Le classificateur est ensuite appliqué séquentiellement aux époques commençant un échantillon plus tard, jusqu’à ce que l’époque s’étende en dehors de la fenêtre de décalage. Ainsi, la fenêtre de décalage doit être plus grande que la fenêtre d’origine ; empiriquement, les valeurs inférieures à 100 ms de chaque côté donnent de bons résultats. Dans tous les cas, la marge doit être maintenue à moins de la moitié de l’ISI.
6. BC2000 seulement : Entrez la longueur de l’ID du sujet indiqué dans les fichiers de l’ensemble de données dans le champ « Longueur de l’ID ».
   REMARQUE : L’interface graphique s’attend à ce que les sub_len premiers caractères des noms de fichiers encodent l’ID de sujet.
7. BCI2000 uniquement : Dans le champ « ID de canal », indiquez le nombre total de canaux ou spécifiez les numéros de canal spécifiques à utiliser pour l’analyse.
8. Cliquez sur le bouton Définir les paramètres pour définir tous les paramètres requis pour l’analyse.

8. BrainInvaders uniquement : Division de l’ensemble de données en ensemble d’entraînement et de test

1. Sélectionnez un nombre de cibles qui représente la taille de l’ensemble d’apprentissage. La partie restante de l’ensemble de données sera considérée comme l’ensemble de données de test.
   REMARQUE : Pour assurer un bon entraînement du modèle, il est essentiel de disposer d’un échantillon d’apprentissage suffisamment grand. La taille minimale recommandée de l’échantillon d’entraînement est de 20, bien que cela puisse varier en fonction de la taille globale de l’ensemble de données. Si des erreurs de régression se produisent pendant les sessions d’entraînement, il est conseillé d’augmenter la taille de l’échantillon d’entraînement.
2. Appuyez sur le bouton « Diviser le jeu de données » pour diviser le jeu de données en ensembles d’entraînement et de test.
   REMARQUE : Chaque participant aura une quantité égale de données d’entraînement. Cependant, le nombre de données de test peut ne pas être le même pour tous les participants en raison de la possibilité de plusieurs tentatives au cours de la tâche. Par conséquent, le nombre total de cibles ou de flashs présentés peut varier d’une personne à l’autre.

9. Entraînement d’un modèle avec le jeu de données d’entraînement

REMARQUE : L’étape 9.1 s’applique au format « Brain Invaders » et l’étape 9.2 s’applique au format « BCI2000 ».

1. BrainInvaders uniquement : cliquez sur le bouton Entraîner un modèle pour appliquer une régression linéaire sur le jeu de données d’entraînement à l’aide de l’équation 2 pour entraîner un modèle de classifieur.
2. BCI2000 uniquement : indiquez les noms des fichiers d’entraînement et de test ainsi que leur format de données (.dat) pour distinguer les fichiers d’entraînement et de test de tous les fichiers. Ensuite, cliquez sur le bouton Entraîner un modèle pour appliquer une régression linéaire sur le jeu de données d’entraînement.

10. Prédire la précision de l’ensemble de test

1. Cliquez sur Prédire la précision pour appliquer le modèle de classificateur entraîné à l’ensemble de caractéristiques de test et prédire la précision à l’aide de l’équation 1.

11. Obtenir des précisions de cible X

1. Sélectionnez un nombre cible maximal, X, à prendre en compte dans l’ensemble de test.
2. BCI2000 uniquement : sélectionnez un numéro de fichier de test si l’utilisateur dispose de plusieurs fichiers de test.
3. Appuyez sur Trouver la précision de la cible X.

12. Calcul de vCBLE

1. Cliquez sur le bouton Trouver vCBLE pour obtenir le vCBLE pour toutes les cibles.

13. Calcul de l’erreur quadratique moyenne (RMSE) de la précision BCI et de la vCBLE

1. Cliquez sur le bouton Calculer l’EQM pour calculer l’EQM entre les deux prédictions basées sur vCBLE avec la précision BCI et la précision de la cible X avec la précision BCI.

14. Visualiser les résultats de l’analyse

1. Cliquez sur le bouton Précision vs vCBLE pour observer la relation entre la précision totale et la vCBLE totale pour tous les participants.
2. Appuyez sur le bouton RMSE de BCI et vCBLE pour afficher la courbe RMSE de la précision BCI et de vCBLE.

15. Prédire la performance d’un participant individuel

1. Pour prédire la précision d’un participant individuel, placez l’ID du sujet dans Sub ID.
   REMARQUE : Ici, l’ensemble de données de tous les participants, à l’exception du participant au test, sera utilisé pour entraîner un modèle de régression linéaire. Les scores vCBLE de tous les autres participants et leurs précisions de test correspondantes seront utilisés comme prédicteurs et étiquettes, respectivement, pour le classifieur.
2. Sélectionnez un nombre cible, n. La prédiction sera faite en fonction de la précision des caractères n-testing.
3. Cliquez sur le bouton Prédire pour obtenir la précision prévue du participant au test.

Résultats

Le protocole proposé a été testé sur deux ensembles de données différents : « BrainInvaders » et l’ensemble de données du Michigan. Ces jeux de données sont déjà présentés brièvement dans la section Introduction. Les paramètres utilisés pour ces deux ensembles de données sont mentionnés dans le tableau 1. Les figures 2 à 4 illustrent les résultats obtenus à l’aide de l’ensemble de données « BrainInvaders », tan...

Discussion

Cet article décrit une méthode d’estimation de la précision des BCI à l’aide d’un petit ensemble de données P300. Ici, le protocole actuel a été développé sur la base de l’ensemble de données « bi2014a », bien que l’efficacité du protocole ait été confirmée sur deux ensembles de données différents. Pour mettre en œuvre cette technique avec succès, il est crucial d’établir certaines variables, telles que la fenêtre d’époque pour les données d’origine, la fenêtre de décalage tempor...

matériels

Name	Company	Catalog Number	Comments
MATLAB 2021	Matlab	N/A	Any recent MATLAB version can be used.