Gli autori desiderano esprimere la loro gratitudine al signor Hong Hu per la sua assistenza nello svolgimento degli esperimenti riportati in questo documento. Questo lavoro è stato sostenuto in parte dalla National Science Foundation naturale della Cina (n ° 61.473.207).

1. Acquisizione del segnale EEG <ol><li> Spiegare la procedura sperimentale al soggetto e ottenere il consenso informato scritto a partecipare ad esperimenti. </li><li> Misurare la circonferenza della testa del soggetto utilizzando una misura di nastro e selezionare il formato della protezione EEG che è vicino alla misura. La disposizione degli elettrodi si basa sul &quot;Sistema Internazionale 10-20&quot; 12. </li><li> Misurare la distanza tra la nasion e inion. Utilizzare una matita pennarello pelle per marcare il 10% della distanza come riferimento per l&#39;allineamento del tappo, e segnare il punto mediano della distanza come il vertice sul cuoio capelluto del soggetto. </li><li> Mettere il tappo EEG sull&#39;argomento allineando la soglia del 10% con il punto medio degli elettrodi FP1 e FP2. Posizione elettrodo Cz del tappo sul vertice. </li><li> Assicurarsi che il Fz, Cz, Pz e Oz sono sulla linea mediana della testa, e che ciascuna coppia di elettrodi posti su entrambi i lati della linea mediana sono in una linea orizzontale. </li><li>Spalmare gli elettrodi RIF1 e RIF2 con gel conduttore. Posizionare gli elettrodi di riferimento sulle mastoide sinistra e destra con del nastro medico. Stringere il sottogola. </li><li> Inserire una siringa a punta smussata in portaelettrodi e iniettare gel conduttivo in ogni elettrodo nell&#39;ordine seguente: in primo luogo, la &quot;terra&quot; elettrodo sulla fronte e secondo, i cinque elettrodi usati nell&#39;esperimento, O2, O1, Oz, Pz , e Cz. </li><li> Sedile il soggetto in una comoda poltrona 60 centimetri di fronte a un monitor stimolo. Istruire il soggetto di tenere gli occhi / nello stesso livello orizzontale con il centro del monitor. </li><li> Collegare i fili degli elettrodi al sistema di acquisizione dati EEG. Configurare la frequenza di campionamento di 1 kHz. </li><li> Esaminare la qualità del segnale EEG sulla DPC dedicato. Se c&#39;è un problema con un elettrodo particolare, gel ri-iniezione per regolare l&#39;impedenza del canale. </li><li> Utilizzare l&#39;SPC dedicato a tremolare quattro immagini di robot a frequenze di 4.615, 12, 15 e 20Hz come stimoli visivi sull&#39;interfaccia utente come illustrato nella Figura 2. </li></ol> 2. Analizzare Offline SSVEP Caratteristiche <ol><li> Condurre 32 prove di esperimenti formativi in ​​linea per ogni soggetto e registrare i loro segnali cerebrali acquisiti dal sistema di EEG nel corso di questo processo. NOTA: questo processo è condotta solo da soggetti per la prima volta di questo esperimento per stabilire le loro funzionalità vettori SSVEP e per addestrare il classificatore. </li><li> Quando un processo viene avviato, selezionare uno stimolo come destinazione casuale e visualizzare una freccia gialla sopra. </li><li> 1 sec dopo, sfarfallio i quattro stimoli visivi a frequenze diverse sull&#39;interfaccia utente per 5 sec. </li><li> Richiedere al soggetto di concentrarsi sul bersaglio selezionato stimolo, mantenendo la sua / suo movimento del corpo al minimo. </li><li> Dopo ogni prova, dare il soggetto 3 secondi per rilassarsi, e quindi avviare la prova successiva. </li><li> Quando tutte le prove sono finite, leggere i dati salvati. Estrarre un data un&#39;epoca 3 sec essere<html> tween 2 sec e 5 secondi dopo il trigger che seleziona uno stimolo come destinazione in ogni prova. </li><li> Calcolare la densità di spettro di potenza (PSD) delle epoche di dati utilizzando la Offline Data Analyzer negli script MATLAB. Utilizzare l&#39;algoritmo di elaborazione descritto in dettaglio di seguito: <ol><li> Calcolare le analisi della correlazione canonica (CCA) coefficienti dei dati multicanale EEG con dati di riferimento. CCA è un metodo statistico multivariato utilizzato per due serie di dati per trovare la loro correlazione di base 13. Considerando il segmento 3s di dati multicanale EEG X e dati di riferimento Y della stessa lunghezza, utilizzare CCA per trovare i vettori peso W x e W y, per massimizzare il coefficiente di correlazione ρ tra x = X T W x ed y = Y T W a. Impostare i dati di riferimento per essere i segnali periodici a certe frequenze di stimolo. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; dove f 1, f 2, f 3, f 4 sono le frequenze caratteristica delle quattro stimoli visivi. </li><li> Spazialmente filtrare i dati multicanale EEG X utilizzando i coefficienti calcolati CCA W x avere un monodimensionale filtrati x di dati, che ha la correlazione più importante con la combinazione lineare dei dati di riferimento. </li><li> Calcolare il PSD dei dati x spazialmente filtrati utilizzando Fast Fourier Transform (FFT). <img alt="Equazione 2" src="/files/ftp_upload/53558/53558eq2.jpg" /> dove N è la dimensione FFT campione di dati x, e FFT (x, N FFT) restituisce il N FFT -point trasformata discreta di Fourier di x. </li><li> Normalizzare il PSD rispetto al suo valore medio tra 3 e 30 Hz. <img alt="Equazione 3" src="/files/ftp_upload/53558/53558eq3.jpg" /> dove60; <img alt="Equazione 3 Denominatore" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> denota la media dello spettro di potenza tra 3 e 30Hz. </li></ol></li><li> Calibrare i parametri di classificazione per le quattro frequenze di stimolo. In primo luogo, osserva lo spettro PSD normalizzato che corrisponde al suo obiettivo di stimolo, e configurare manualmente la frequenza con la più forte di ampiezza PSD come la frequenza caratteristica. In base alla frequenza caratteristica, dividere i dati PSD normalizzati in due gruppi: uno è acquisito quando lo stimolo corrispondente viene selezionato come bersaglio, e l&#39;altro è acquisito quando si selezionano gli stimoli non bersaglio. Calcolare il valore medio di ciascun set rispettivamente. Determinare la soglia per la mediana dei due valori medi per classificare il bersaglio e non-bersaglio set 14. </li></ol> 3. Il trattamento in linea segnali del cervello <ol><li> Aprire il processore di segnale digitale, come mostrato in figura 3, che si sviluppa based sull&#39;ambiente OpenViBE e gli script MATLAB, il DPC per i segnali cerebrali di elaborazione on-line. </li><li> Fare doppio clic sulla casella del segnale acquisire e trattare, contrassegnato con un ciclo di rosso nella figura 3, per aprire la finestra di impostazione OpenViBE. Configurare i parametri di classificazione per il soggetto:. Impostare la frequenza di campionamento 1 kHz, impostare l&#39;intervallo di tempo per FFT come 3 secondi, e impostare le frequenze funzione in base ai risultati delle analisi non in linea, ad esempio, 4.667, 24, 15 e 20 Hz . </li><li> Fare clic sul pulsante Avvia per eseguire il processore di segnale digitale, che elabora i dati in tempo reale utilizzando il seguente algoritmo in tre fasi. </li><li> In primo luogo, l&#39;algoritmo acquisisce dati EEG dai canali Oz, O1, O2, Pz e CPZ del sistema EEG ogni 0.5s, ed estrae il segmento di dati degli ultimi 3 secondi per l&#39;elaborazione on-line. </li><li> In secondo luogo, l&#39;algoritmo elabora il segmento di dati 3-sec utilizzando gli algoritmi descritti al punto 2.7, e calcola il tempo reale PSD per classifizione. </li><li> In terzo luogo, l&#39;algoritmo classifica le onde cerebrali secondo le ampiezze PSD a quattro frequenze funzionalità. Quando l&#39;ampiezza di una frequenza caratteristica supera una certa soglia, classificare lo stimolo tremolante alla corrispondente frequenza come destinazione SSVEP. </li></ol> 4. Collegamento del Humanoid Robot <ol><li> Premere il pulsante di petto del robot umanoide e attendere che venga avviato. NOTA: questo processo richiede circa 1 minuto ed è completata quando il robot dice &quot;OGNAK GNOUK&quot;, mentre il suo pulsante Petto diventa bianca. </li><li> Stabilire la connessione Wireless Fidelity (WiFi) alla DPC 15. </li><li> Aprire il controllo del robot programmato in Visual C ++ script sul DPC. Il controller riceve i risultati della classificazione del Signal Processor online tramite l&#39;interfaccia di realtà virtuale periferica di rete (VRPN), li traduce in comandi robot, e controlla le corrispondenti comportamenti del humanoid robot tramite connessione wireless. </li><li> Configurare il controllo robot inserendo l&#39;indirizzo IP del robot in base alla sua connessione WiFi, definendo tre serie di comportamenti del robot che possono essere facilmente attivato per eseguire le tre compiti diversi, e l&#39;impostazione dei parametri di esecuzione di questi comportamenti (ad es., Velocità di marcia o distanza) per adattare il requisito di attività. NOTA: più dettagli di questi comportamenti sono descritte nei passaggi 5.2.1, 5.3.1, 5.4.1 e. </li><li> Fare clic sul pulsante di generatori della piattaforma Visual Studio per eseguire il controllo del robot. </li><li> Aprire il programma chorégraphe sulla SPC. Fare clic su &quot;Connetti a&quot; tasto per fare apparire un widget Connection. Selezionare il robot da controllare in base al suo indirizzo IP, e fare doppio clic sulla sua icona per connettersi ad esso. </li><li> Aprire il monitor video dal menu Visualizza nella barra dei menu chorégraphe, e spostare il monitor verso la parte anteriore dell&#39;interfaccia utente per visualizzare un feedback video in diretta dalla telecamera del robot. </li></ol> &lt;p class = &quot;jove_title&quot;&gt; 5. Condurre esperimenti di controllo a circuito chiuso <ol><li> Richiedere al soggetto di eseguire tre compiti di controllo ad anello chiuso specifici all&#39;interno di ambienti differenti per valutare le prestazioni interazione cervello-robot. NOTA: questi compiti, che sono importanti nelle applicazioni robotiche, perché sono utili per aiutare i disabili e gli anziani nella loro vita quotidiana, necessario attivare diversi comportamenti del robot. </li><li> Condurre il primo compito di controllo a circuito chiuso alla telepresenza controllare il robot umanoide con i segnali del cervello per camminare tra ostacoli e spingere un interruttore della luce per accendere la luce, come mostrato in Figura 4. <ol><li> Per realizzare il primo compito, controllare i comportamenti del robot che sono codificati dalle quattro stimoli SSVEP come: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e premendo l&#39;interruttore con la sua mano destra. NOTA: il configurazioniprocesso ne è descritta nel passo 4.4. </li><li> Inform oggetto dell&#39;obiettivo compito e le quattro comportamenti da controllare. </li><li> Eseguire il controller del robot come nei passaggi 4.5-4.7, e avviare l&#39;esperimento. Dare al soggetto la libertà di percepire l&#39;ambiente e prendere decisioni in base al feedback video dal vivo, e per attivare i comportamenti del robot da fissare stimoli corrispondenti. NOTA: nessuna istruzione o di aiuto dovrebbe essere data al soggetto se non in situazioni di emergenza, ad esempio, il robot è in procinto di entrare in collisione con un ostacolo.. </li></ol></li><li> Condurre il secondo compito di telepresenza controllare il robot umanoide con i segnali del cervello a camminare verso la scala seguendo il segnale di uscita, come mostrato nella Figura 5. Quando affrontare i passanti, chiedere al soggetto di controllare il robot di dire &quot;mi scusi&quot; e attendere che il i passanti a cedere il passo. <ol><li> Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP come: camminare avanti continuously a una velocità di 0,05 m / sec, girando a sinistra in continuo ad una velocità di 0,1 rad / sec, girando a destra continuo ad una velocità di 0,1 rad / sec, e fermando tutti i comportamenti piedi. </li><li> Accendere il controller del robot alla funzione di controllo della postura dipendente 16. NOTA: quando il robot sta camminando, questa funzione utilizza la quarta di stimolo del comando di fermare i comportamenti a piedi; quando il robot non cammina, usa il quarto stimolo a controllare il robot di dire &quot;mi scusi&quot;. La funzione è implementata in C ++ script rilevando lo stato del robot a piedi. </li><li> Inform oggetto dell&#39;obiettivo compito e cinque comportamenti da controllare. </li><li> Eseguire il controllo del robot e iniziare l&#39;esperimento, come descritto al punto 5.2.3. </li></ol></li><li> Condurre il terzo compito di telepresenza controllare il robot umanoide a camminare verso un obiettivo mongolfiera, per raccoglierlo, e di consegnarlo a mano del soggetto, come mostrato in figura 6. <ol><li> Controllare i comportamenti del robot codificate dai quattro stimoli SSVEP esempio: un passo in avanti con una distanza fissa di 0,15 m, girando a sinistra con un radiante fisso di 0,3 rad, svoltando a destra con un radiante fisso di 0,3 rad, e raccogliere oggetti. </li><li> Attivare la funzione di controllo della postura-dipendente il controller del robot di riutilizzare il quarto di stimolo del comando di mettere giù l&#39;oggetto quando è già stato preso. </li><li> Inform oggetto dell&#39;obiettivo compito e cinque comportamenti da controllare. </li><li> Eseguire il controllo del robot e iniziare l&#39;esperimento, come descritto al punto 5.2.3. </li></ol></li></ol>

<ol>
	<li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices.">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li><li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brain-machine+interfaces:+Past,+present+and+future.">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li><li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brain-computer+interfaces+for+communication+and+control.">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li><li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans.">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li><li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials.">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247 (2014).</li><li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light.">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li><li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Steady-state+visually+evoked+potentials:+focus+on+essential+paradigms+and+future+perspectives.">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li><li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+high-speed+BCI+based+on+code+modulation+VEP.">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015 (2011).</li><li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evoked-potential+correlates+of+stimulus+uncertainty.">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li><li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Event-related+EEG/MEG+synchronization+and+desynchronization:+basic+principles.">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li><li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=OpenViBE-based+brainwave+control+system+for+Cerebot.">OpenViBE-based brainwave control system for Cerebot.</a> Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li><li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cerebral+location+of+international+10-20+system+electrode+placement.">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li><li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method.">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002 (2009).</li><li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+practical+VEP-based+brain-computer+interface.">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li><li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Toward+brain-actuated+humanoid+robots:+asynchronous+direct+control+using+an+EEG-based+BCI.">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li><li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Removal+of+ocular+artifact+from+the+EEG:+a+review.">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li><li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+(BCI).">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li><li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP.">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li><li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy.">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li><li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface.">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007 (2014).</li><li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom.">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li><li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=SSVEP-based+hierarchical+architecture+for+control+of+a+humanoid+robot+with+mind.">SSVEP-based hierarchical architecture for control of a humanoid robot with mind.</a> Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li><li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs.">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li><li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Steady-state+visual+evoked+potential+(SSVEP)-based+communication:+impact+of+harmonic+frequency+components.">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li></ol>

The authors have nothing to disclose.

Questo articolo presenta una procedura sperimentale basato SSVEP a stabilire il sistema di interazione cervello-robot con robot umanoidi, integrando software multipli. Poiché intento umano è percepito interpretando segnali EEG in tempo reale, è fondamentale per verificare le connessioni degli elettrodi e le qualità del segnale EEG prima di condurre l&#39;esperimento. Se i segnali acquisiti da tutti gli elettrodi sono di qualità scarsa, è necessario controllare il collegamento degli elettrodi di massa e di riferime...

Brain-Robot Interaction (BRI), che fornisce un innovativo percorso di comunicazione tra l&#39;uomo e un dispositivo robotico tramite segnali del cervello, è potenziale per aiutare i disabili nella loro vita quotidiana 1,2. Una varietà di metodi sono in grado di acquisire i segnali del cervello sia invasivo o non invasivo, come ad esempio elettrocorticografia (ECoG), elettroencefalogramma (EEG), la risonanza magnetica funzionale (fMRI), etc. Il metodo non invasivo più comunemente usato per la costruzione del Sistema BRI è di acquisire segnali EEG da elettrodi posti sul cuoio capelluto. Questo metodo è poco costoso, facile da usare, e fornisce una risoluzione temporale accettabile 3. Tra una varietà di dispositivi robotici, robot umanoidi sono avanzati in quanto sono creati per imitare alcune delle stesse attività fisiche e mentali che gli esseri umani subiscono quotidianamente. BRI con un robot umanoide svolgerà un ruolo importante nell&#39;assistere i malati e gli anziani, oltre a svolgere i lavori insalubri o pericolosi. Ma il controllodi un robot umanoide attraverso il sistema BRI è molto impegnativo, come il robot umanoide con il movimento di tutto il corpo è stato sviluppato per eseguire attività complesse, come l&#39;assistenza personale 4, 5. In condizioni di regime visiva Potenziali Evocati (SSVEP) è un tipo di segnale cerebrale evocata dalla modulazione di stimolo visivo ad una determinata frequenza 6. Esso contiene sinusoidi alle frequenze fondamentali ed armoniche dello stimolo sfarfallio e prominente appare in tutta la corteccia visiva nella regione occipitale del cuoio capelluto 7. La ragione della scelta dei segnali SSVEP è che il sistema BRI-based SSVEP rendimenti relativamente alto tasso di trasferimento dati e richiede meno formazione 8. Altri tipi di onde cerebrali, come potenziali evento-correlati (ERP) 9 o al motore-imagery (MI) Potenziali 10, possono anche essere incorporati in questa procedura sperimentale. La nostra procedura per l&#39;interazione cervello-robot con umanoiderobot si basa su Cerebot - una piattaforma robot umanoide mente controllata - costituita da un sistema di acquisizione dati EEG e un robot umanoide 11. Il sistema EEG è in grado di registrare, visualizzare segnali bio-potenziale acquisite da vari tipi di elettrodi pre-processo e. Esso fornisce analogico multiplo I / O e I / O digitali ed è in grado di registrare fino a 128 canali di segnali simultaneamente a una frequenza di campionamento di 30 kHz con una risoluzione di 16-bit. I suoi kit di sviluppo software in C ++ e MATLAB sono facile per gli utenti di progettare procedure sperimentali. Il robot umanoide ha 25 gradi di libertà ed è dotato di sensori multipli, tra cui 2 fotocamere, 4 microfoni, 2 telemetri sonar, 2 emettitori IR e ricevitori, 1 scheda di inerzia, 9 sensori tattili, e 8 sensori di pressione. Esso fornisce chorégraphe e C ++ SDK per la creazione e la modifica di movimenti e comportamenti del robot interattivi. L&#39;obiettivo generale di questo metodo è quello di stabilire un proce sperimentale basato SSVEP-Dure integrando più programmi software, come OpenViBE, Choregraph, software centrale così come programmi utente sviluppati scritti in C ++ e MATLAB, per consentire lo studio delle interazioni cervello-robot con robot umanoidi 11. figura 1 mostra la struttura del sistema. Il computer presentazione dello stimolo dedicato (SPC) visualizza l&#39;interfaccia utente di fornire al soggetto con stimoli visivi, istruzioni e feedback ambientali. Il computer di elaborazione dati dedicato (DPC) gestisce il Data Recorder e non in linea Data Analyzer nel processo di formazione non in linea, e gestisce il Signal Processor in linea e il controllore del robot per il controllo on-line del robot umanoide. Rispetto ad altri sistemi di controllo basati SSVEP-, il nostro sistema è più affidabile, più flessibili, e soprattutto più conveniente per essere riutilizzato e aggiornato mentre viene sviluppata integrando un numero di pacchetti software standardizzati, come OpenViBE, Choregraph, software centrale, e I moduli scritti in C ++e MATLAB. La seguente procedura è stato esaminato e approvato dal Tianjin University Medical policlinico comitato etico, e tutti i soggetti ha dato consenso scritto.

<table border="0" cellpadding="0" cellspacing="0" width="748">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">Cerebus EEG Data Acquisition System</td>
			<td style="width:179px;">Blackrock Microsystems</td>
			<td style="width:119px;">4176-9967</td>
			<td style="width:167px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">NAO humanoid robot</td>
			<td style="width:179px;">Aldebaran Robotics</td>
			<td style="width:119px;">H25</td>
			<td></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">EEG cap</td>
			<td style="width:179px;">Neuroscan</td>
			<td style="width:119px;">8732</td>
			<td></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:284px;">Ten20 Conductive gel</td>
			<td style="width:179px;">Weaver and company</td>
			<td style="width:119px;">10-20-8</td>
			<td></td>
		</tr>
	</tbody>
</table>

ssvep-based experimental procedure for brain-robot interaction with humanoid robots

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

I risultati presentati sono stati ottenuti da un soggetto di sesso maschile che hanno corretto-per-versione normale. La figura 7 mostra la procedura di elaborazione dati EEG, tra cui l&#39;estrazione di un&#39;epoca di dati multicanale (Figura 7A), spazialmente filtrando i dati utilizzando coefficienti CCA (Figura 7B) , e calcolando il PSD normalizzato (figura 7C). <p class="jove_content" fo:keep-together.within-page...

Watch this Scientific Journal Video about SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots at JoVE.com

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

SSVEP-based Procedura sperimentale per Brain-Robot Interaction con Humanoid Robots

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

Education

JoVE Core

JoVE Journal

Electrical Engineering

Engineering

Unit 1

Introduction to Control Systems

SCIENTISTS IN ACTION

13.0K Views.  Tianjin University. The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.