Les auteurs tiennent à exprimer leur gratitude à M. Hong Hu pour son aide dans l&#39;exécution des expériences rapportées dans le présent document. Ce travail a été financé en partie par la Fondation nationale des sciences naturelles de Chine (n ° 61473207).

1. Acquisition de signaux EEG <ol><li> Expliquer la procédure expérimentale pour le sujet et obtenir le consentement éclairé écrit de participer à des expériences. </li><li> Mesurer la circonférence de la tête du sujet en utilisant un ruban à mesurer et sélectionnez la taille de bonnet EEG qui est proche de la mesure. L&#39;arrangement d&#39;électrodes est basé sur le «système 10-20 international&quot; 12. </li><li> Mesurez la distance entre le nasion et inion. Utilisez un crayon de marquage de la peau à l&#39;occasion de 10% de la distance de référence pour aligner le capuchon, et marquer le point médian de la distance que le sommet sur le cuir chevelu du sujet. </li><li> Placez le bouchon EEG sur le sujet en alignant la barre des 10% avec le milieu des électrodes PF1 et PF2. Électrode de position Cz de la capsule sur le sommet. </li><li> Assurez-vous que le Fz, Cz, Pz et Oz sont sur la ligne médiane de la tête, et que chaque paire d&#39;électrodes situées de chaque côté de la ligne médiane sont sur une ligne horizontale. </li><li>Enduire les électrodes REF1 et REF2 avec gel conducteur. Placer les électrodes de référence sur les mastoïdes gauche et droite à l&#39;aide de ruban adhésif médical. Serrez la jugulaire. </li><li> Placez une seringue pointe arrondie dans les porte-électrodes et injecter un gel conducteur dans chaque électrode dans l&#39;ordre suivant: d&#39;abord, le «terrain» électrode sur le front et le deuxième, les cinq électrodes utilisées dans l&#39;expérience, O2, O1, Oz, Pz et Cz. </li><li> Seat l&#39;objet dans un confortable fauteuil 60 cm en face d&#39;un moniteur de relance. Demandez au sujet de garder ses / ses yeux dans le même plan horizontal avec le centre de l&#39;écran. </li><li> Connecter les fils d&#39;électrodes au système d&#39;acquisition de données EEG. Configurez le taux d&#39;échantillonnage de 1 kHz. </li><li> Examiner la qualité du signal EEG sur le DPC dédié. Si il ya un problème avec une électrode particulière, gel réinjecter pour régler l&#39;impédance du canal. </li><li> Utilisez le CPS dédié à clignoter quatre images de robots à des fréquences de 4.615, 12, 15 et 20Hz comme stimuli visuels sur l&#39;interface utilisateur comme le montre la figure 2. </li></ol> 2. Hors Analyser SSVEP Caractéristiques <ol><li> Mener des 32 essais d&#39;expériences de formation hors ligne pour chaque sujet et enregistrer leurs signaux cérébraux acquis du système EEG long de ce processus. Remarque: Ce processus est mené uniquement par des sujets pour la première fois de l&#39;expérience pour établir leurs vecteurs caractéristiques de SSVEP et de former le classificateur. </li><li> Quand un procès commence, sélectionnez un stimulus comme cible au hasard et afficher une flèche jaune au-dessus. </li><li> 1 secondes plus tard, scintiller les quatre stimuli visuels à des fréquences différentes sur l&#39;interface utilisateur pendant 5 sec. </li><li> Demander le sujet pour se concentrer sur l&#39;objectif de relance sélectionnée tout en gardant son / sa mouvement du corps à un minimum. </li><li> Après chaque essai, donner le sujet 3 sec pour se détendre, et ensuite commencer à l&#39;essai suivant. </li><li> Lorsque tous les essais sont terminés, lire les données enregistrées. Extrait d&#39;une époque données 3-sec être<html> entre 2 et 5 secondes après le déclenchement qui sélectionne un stimulus comme la cible dans chaque procès. </li><li> Calculer la densité spectrale de puissance (PSD) des époques de données en utilisant l&#39;analyseur de données hors ligne dans les scripts MATLAB. Utiliser l&#39;algorithme de traitement décrit en détail ci-dessous: <ol><li> Calculer les coefficients analyse de corrélation canonique (CCA) des données multicanal de l&#39;EEG avec des données de référence. CCA est une méthode statistique multivariée utilisée pour deux ensembles de données pour trouver leur corrélation sous-jacent 13. Considérant le segment 3s de données multicanal EEG X et les données de référence Y de la même longueur, utiliser CCA pour trouver les vecteurs de poids, W x et W y, afin de maximiser le coefficient de corrélation ρ entre x = X T W x et y = Y T W y. Définissez les données de référence pour être les signaux périodiques à certaines fréquences de stimulation. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; où f 1, f 2, f 3, f 4 sont les fréquences de caractéristiques des quatre stimuli visuels. </li><li> Filtrer spatialement les données multicanal EEG X en utilisant les coefficients DPA calculée W x pour obtenir une seule dimension filtrés données x, qui a la corrélation la plus évidente avec la combinaison linéaire des données de référence. </li><li> Calculer le PSD des données x filtré spatialement en utilisant la transformée de Fourier rapide (FFT). <img alt="Equation 2" src="/files/ftp_upload/53558/53558eq2.jpg" /> où N est la taille de FFT de l&#39;échantillon de données x, et FFT (x, N FFT) renvoie transformée de Fourier discrète FFT -point de N x. </li><li> Normaliser le PSD par rapport à sa valeur moyenne entre 3 et 30 Hz. <img alt="Équation 3" src="/files/ftp_upload/53558/53558eq3.jpg" /> où60; <img alt="Équation 3 Dénominateur" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> désigne la moyenne du spectre de puissance comprise entre 3 et 30 Hz. </li></ol></li><li> Calibrer les paramètres de classification pour les quatre fréquences de stimulation. Tout d&#39;abord, observer le spectre PSD normalisée qui correspond à son objectif de relance, et de configurer manuellement la fréquence avec la plus forte amplitude PSD que la fréquence de fonction. Basé sur la fréquence caractéristique, diviser les données PSD normalisées en deux ensembles: l&#39;un est acquise lorsque le stimulus correspondant est sélectionné comme cible, et l&#39;autre est acquise lorsque les stimuli non-cibles sont sélectionnés. Calculer la valeur moyenne de chaque série, respectivement. Déterminer le seuil de la médiane des deux valeurs moyennes de classer la cible et non-cible fixe 14. </li></ol> 3. Traitement des signaux du cerveau en ligne <ol><li> Ouvrir le processeur de signal en ligne comme le montre la figure 3, qui est développé belon sur l&#39;environnement OpenViBE et les scripts MATLAB, sur le DPC pour traiter les signaux du cerveau en ligne. </li><li> Double-cliquez sur la boîte de Signal acquisition et de traitement, qui est marqué avec un cycle rouge dans la figure 3, pour ouvrir la fenêtre de réglage OpenViBE. Configurer les paramètres de classification pour le sujet:. Définir le taux d&#39;échantillonnage de 1 kHz, régler la longueur de temps pour FFT que 3 sec, et régler les fréquences de longs selon les résultats de l&#39;analyse en ligne, par exemple, 4.667, 24, 15 et 20 Hz . </li><li> Cliquez sur le bouton commence à courir le processeur de signaux en ligne, qui traite les données en temps réel en utilisant l&#39;algorithme suivant en trois étapes. </li><li> Tout d&#39;abord, l&#39;algorithme acquiert des données provenant des canaux EEG Oz, O1, O2, Pz et CPZ du système EEG toutes les 0.5s, et extrait le segment de données de la dernière ligne de traitement 3s. </li><li> Deuxièmement, l&#39;algorithme traite le segment de données 3-sec en utilisant les algorithmes décrits à l&#39;étape 2.7, et calcule en temps réel le PSD pour Classification. </li><li> Troisièmement, l&#39;algorithme classe les schémas des ondes cérébrales en fonction des amplitudes PSD dans les quatre fréquences de fonction. Lorsque l&#39;amplitude de fréquence d&#39;une caractéristique est supérieur à un seuil donné, classifier le stimulus scintillement correspondant à la fréquence en tant que cible de SSVEP. </li></ol> 4. Connecter le Robot Humanoïde <ol><li> Appuyez sur le bouton de la poitrine du robot humanoïde et attendez qu&#39;il démarre. Remarque: Ce processus prend environ 1 min et est terminée lorsque le robot dit &quot;OGNAK GNOUK&quot;, tandis que le bouton de la poitrine devient blanc. </li><li> Établir sa WiFi (Wireless Fidelity) connexion à la DPC 15. </li><li> Ouvrez le contrôleur robot programmé en C ++ scripts Visual sur le DPC. Le contrôleur reçoit les résultats de la classification de la Signal Processor ligne par l&#39;intermédiaire de réalité virtuelle périphérique réseau (VRPN) interface, les traduit en commandes de robots, et contrôle les comportements correspondants du humanoid robot via une connexion sans fil. </li><li> Configurez le contrôleur de robot en entrant l&#39;adresse IP du robot en fonction de sa connexion WiFi, définissant trois séries de comportements du robot qui peut facilement être modifiée pour effectuer les trois tâches différentes, et en définissant les paramètres d&#39;exécution de ces comportements (par exemple., La vitesse de marche ou distance) pour adapter l&#39;exigence de tâche. NOTE: Plus de détails de ces comportements sont décrits dans les étapes 5.2.1, 5.3.1, 5.4.1 et. </li><li> Cliquez sur le bouton Générer de la plateforme Visual Studio pour exécuter le Contrôleur de Robot. </li><li> Ouvrez le programme Chorégraphe sur la CPS. Cliquez sur «Se connecter à&quot; bouton pour faire apparaître un widget de connexion. Sélectionnez le robot doit être contrôlée en fonction de son adresse IP, et double-cliquez sur son icône pour s&#39;y connecter. </li><li> Ouvrez l&#39;écran vidéo dans le menu d&#39;affichage dans la barre de menu Chorégraphe, et déplacer le moniteur à l&#39;avant de l&#39;interface utilisateur pour afficher des commentaires de la vidéo en direct depuis la caméra du robot. </li></ol> &lt;p class = &quot;jove_title&quot;&gt; 5. Mener des expériences de contrôle en boucle fermée <ol><li> Demander le sujet pour effectuer trois tâches de contrôle en boucle fermée spécifiques au sein des environnements différents afin d&#39;évaluer la performance de l&#39;interaction cerveau-robots. REMARQUE: ces tâches, qui sont importants dans les applications robotiques, car ils sont utiles pour aider les personnes handicapées et les personnes âgées dans leur vie quotidienne, besoin d&#39;activer différents comportements du robot. </li><li> Effectuer la première tâche de contrôle en boucle fermée à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher à travers les obstacles et pousser un interrupteur pour allumer la lumière, comme le montre la figure 4. <ol><li> Pour accomplir la première tâche, contrôler les comportements des robots qui sont codées par les quatre stimuli SSVEP comme: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et en poussant le commutateur à l&#39;aide de sa main droite. REMARQUE: la configuraprocessus d&#39;est décrite dans l&#39;étape 4.4. </li><li> Informer le sujet de l&#39;objectif de la tâche et les quatre comportements à être contrôlé. </li><li> Exécutez le Robot Controller comme dans les étapes 4.5-4.7, et commencer l&#39;expérience. Donnez le sujet de la liberté de percevoir l&#39;environnement et de prendre des décisions basées sur les commentaires de la vidéo en direct, et pour activer les comportements du robot en regardant fixement les stimuli correspondants. REMARQUE: aucune instruction ou de l&#39;aide devrait être accordée à l&#39;objet, sauf dans les situations d&#39;urgence, par exemple, le robot est sur ​​le point d&#39;entrer en collision avec un obstacle.. </li></ol></li><li> Effectuer la deuxième tâche à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher vers l&#39;escalier suivant le panneau de sortie, comme le montre la Figure 5. Lorsque confrontant passants, demandez au sujet de contrôler le robot à-dire &quot;excusez-moi&quot; et attendre que le passants à céder. <ol><li> Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: marche en avant continuously à une vitesse de 0,05 m / s, en tournant à gauche en continu à une vitesse de 0,1 rad / s, en tournant à droite en continu à une vitesse de 0,1 rad / s, et l&#39;arrêt de tous les comportements de marche. </li><li> Mettez le Robot Controller à la fonction de commande posture dépendante 16. REMARQUE: lorsque le robot marche, cette fonction utilise la quatrième relance que la commande d&#39;arrêter les comportements de marche; lorsque le robot ne marche pas, il utilise la quatrième relance de contrôler le robot à-dire &quot;excusez-moi&quot;. La fonction est implémentée dans les scripts C de par la détection de l&#39;état de marche du robot. </li><li> Informer le sujet de l&#39;objectif de la tâche et les cinq comportements à être contrôlé. </li><li> Exécutez le contrôleur de robot et commencer l&#39;expérience, comme décrit à l&#39;étape 5.2.3. </li></ol></li><li> Mener la troisième tâche de téléprésence contrôler le robot humanoïde à marcher vers une cible de ballon, de le ramasser et de le livrer à la main de l&#39;objet, comme le montre la Figure 6. <ol><li> Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et ramasser des objets. </li><li> Activez la fonction de contrôle posture dépendant dans le Contrôleur de Robot de réutiliser la quatrième relance que la commande de débarquer l&#39;objet quand il a déjà été ramassé. </li><li> Informer le sujet de l&#39;objectif de la tâche et les cinq comportements à être contrôlé. </li><li> Exécutez le contrôleur de robot et commencer l&#39;expérience, comme décrit à l&#39;étape 5.2.3. </li></ol></li></ol>

<ol>
	<li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices.">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li><li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brain-machine+interfaces:+Past,+present+and+future.">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li><li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brain-computer+interfaces+for+communication+and+control.">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li><li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans.">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li><li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials.">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247 (2014).</li><li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light.">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li><li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Steady-state+visually+evoked+potentials:+focus+on+essential+paradigms+and+future+perspectives.">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li><li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+high-speed+BCI+based+on+code+modulation+VEP.">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015 (2011).</li><li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evoked-potential+correlates+of+stimulus+uncertainty.">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li><li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Event-related+EEG/MEG+synchronization+and+desynchronization:+basic+principles.">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li><li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=OpenViBE-based+brainwave+control+system+for+Cerebot.">OpenViBE-based brainwave control system for Cerebot.</a> Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li><li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cerebral+location+of+international+10-20+system+electrode+placement.">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li><li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method.">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002 (2009).</li><li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+practical+VEP-based+brain-computer+interface.">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li><li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Toward+brain-actuated+humanoid+robots:+asynchronous+direct+control+using+an+EEG-based+BCI.">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li><li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Removal+of+ocular+artifact+from+the+EEG:+a+review.">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li><li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+(BCI).">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li><li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP.">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li><li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy.">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li><li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface.">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007 (2014).</li><li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom.">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li><li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=SSVEP-based+hierarchical+architecture+for+control+of+a+humanoid+robot+with+mind.">SSVEP-based hierarchical architecture for control of a humanoid robot with mind.</a> Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li><li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs.">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li><li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Steady-state+visual+evoked+potential+(SSVEP)-based+communication:+impact+of+harmonic+frequency+components.">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li></ol>

The authors have nothing to disclose.

Cet article présente une procédure expérimentale basée SSVEP à établir le système d&#39;interaction cerveau-robot avec des robots humanoïdes en intégrant plusieurs programmes logiciels. Étant donné que l&#39;intention humaine est perçue par l&#39;interprétation des signaux d&#39;EEG en temps réel, il est essentiel de vérifier les connexions d&#39;électrodes EEG et des qualités de signal avant d&#39;effectuer l&#39;expérience. Si les signaux acquis de toutes les électrodes sont de mauvaises qualités, ...

Brain-Robot Interaction (BRI), qui fournit une voie de communication innovant entre l&#39;humain et un dispositif robotique via des signaux du cerveau, est prospective pour aider les personnes handicapées dans leur vie quotidienne 1,2. Une variété de méthodes sont en mesure d&#39;acquérir les signaux du cerveau soit invasive ou non invasive, comme électrocorticographie (ECoG), électroencéphalogramme (EEG), l&#39;imagerie par résonance magnétique fonctionnelle (IRMf), etc. La méthode non-invasive la plus couramment utilisée pour la construction du système BRI est d&#39;acquérir des signaux EEG à partir des électrodes placées sur le cuir chevelu. Cette méthode est peu coûteuse, facile à utiliser, et offre une résolution temporelle acceptable 3. Parmi une variété de dispositifs robotiques, robots humanoïdes sont avancés car ils sont créés pour imiter certains des mêmes tâches physiques et mentales que les humains subissent quotidiennement. BRI avec un robot humanoïde va jouer un rôle important en aidant les malades et les personnes âgées, ainsi que l&#39;exécution des emplois insalubres ou dangereux. Mais le contrôled&#39;un robot humanoïde à travers le système BRI est très difficile, car le robot humanoïde avec le mouvement du corps entier est conçu pour effectuer des tâches complexes telles que l&#39;assistance personnelle 4, 5. Steady-State potentiels évoqués visuels (SSVEP) est un type de signal du cerveau provoquée par la modulation du stimulus visuel à une fréquence donnée 6. Il contient des sinusoïdes à des fréquences fondamentales et harmoniques de la stimulation de scintillement, et bien en vue apparaît à travers le cortex visuel dans la région occipitale du cuir chevelu 7. La raison du choix des signaux de SSVEP est que le système à base BRI-SSVEP donne un taux de transfert de l&#39;information relativement élevé et nécessite moins de formation 8. Autres types d&#39;ondes cérébrales, comme les potentiels évoqués (ERP) 9 ou moteur-imagerie (MI) les potentiels 10, peuvent également être intégrés dans cette procédure expérimentale. Notre procédure d&#39;interaction cerveau-robot humanoïderobots sont basées sur Cerebot - une plateforme de robot humanoïde de contrôle mental - constitué d&#39;un système d&#39;acquisition de données EEG et un robot humanoïde 11. Le système EEG est capable d&#39;enregistrer des signaux bio-potentiel affichage acquises par divers types d&#39;électrodes de pré-processus et. Il fournit analogique multiples E / S et E / S numériques et est capable d&#39;enregistrer jusqu&#39;à 128 canaux de signaux simultanément à un taux d&#39;échantillonnage de 30 kHz avec une résolution de 16 bits. Ses kits de développement logiciel en C ++ et MATLAB sont faciles pour les utilisateurs de concevoir les procédures expérimentales. Le robot humanoïde possède 25 degrés de liberté et est équipé de plusieurs capteurs, y compris les 2 caméras, 4 micros, 2 télémètres sonar, 2 IR émetteurs et récepteurs, 1 planche d&#39;inertie, 9 capteurs tactiles, et 8 capteurs de pression. Il fournit Choregraphe et SDK C ++ pour créer et éditer les mouvements et les comportements des robots interactifs. L&#39;objectif global de cette méthode est d&#39;établir une procé expérimentale basée SSVEP-dure en intégrant plusieurs logiciels, comme OpenViBE, Chorégraphe, le logiciel central ainsi que de programmes développés utilisateur écrites en C ++ et MATLAB, afin de permettre l&#39;étude de l&#39;interaction cerveau-robot avec des robots humanoïdes 11. La figure 1 montre la structure du système. L&#39;ordinateur de la présentation du stimulus dédié (CPS) affiche l&#39;interface utilisateur pour fournir le sujet avec des stimuli visuels, des instructions et des évaluations environnementales. L&#39;ordinateur de traitement de données dédié (DPC) exécute l&#39;enregistreur de données et l&#39;analyseur de données hors ligne dans le processus de formation en ligne, et exécute le processeur de signal en ligne et la commande du robot pour le contrôle en ligne du robot humanoïde. Comparé à d&#39;autres systèmes de contrôle basés SSVEP, notre système est plus fiable, plus souple, et surtout plus pratique pour être réutilisés et mis à jour comme il est développé en intégrant un certain nombre de logiciels normalisés, tels que OpenViBE, Chorégraphe, le logiciel central, et modules écrits en C ++et MATLAB. La procédure suivante a été examiné et approuvé par l&#39;université médicale comité d&#39;éthique de l&#39;hôpital général de Tianjin, et tous les sujets ont donné leur consentement par écrit.

<table border="0" cellpadding="0" cellspacing="0" width="748">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">Cerebus EEG Data Acquisition System</td>
			<td style="width:179px;">Blackrock Microsystems</td>
			<td style="width:119px;">4176-9967</td>
			<td style="width:167px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">NAO humanoid robot</td>
			<td style="width:179px;">Aldebaran Robotics</td>
			<td style="width:119px;">H25</td>
			<td></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">EEG cap</td>
			<td style="width:179px;">Neuroscan</td>
			<td style="width:119px;">8732</td>
			<td></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">Ten20 Conductive gel</td>
			<td style="width:179px;">Weaver and company</td>
			<td style="width:119px;">10-20-8</td>
			<td></td>
		</tr>
	</tbody>
</table>

ssvep-based experimental procedure for brain-robot interaction with humanoid robots

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Les résultats présentés ici ont été obtenus à partir d&#39;un sujet mâle ayant corrigé à la normale la version. La figure 7 représente la procédure de traitement des données EEG, y compris l&#39;extraction d&#39;une époque de données multicanal (figure 7A), en filtrant spatialement les données à l&#39;aide des coefficients de DPA (figure 7B) , et le calcul du PSD normalisée (figure 7C). <p class="jov...

Watch this Scientific Journal Video about SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots at JoVE.com

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

Education

JoVE Core

JoVE Journal

Electrical Engineering

Engineering

Unit 1

Introduction to Control Systems

SCIENTISTS IN ACTION

13.0K vues.  Tianjin University. The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.