Un'interfaccia cervello-computer indossabile a canale singolo e non invasiva per l'industria e la sanità

Riepilogo

Questo documento discute come costruire un'interfaccia cervello-computer facendo affidamento su apparecchiature di livello consumer e potenziali evocati visivamente in stato stazionario. Per questo, un elettroencefalografo a canale singolo che sfrutta elettrodi secchi è stato integrato con occhiali a realtà aumentata per la presentazione degli stimoli e la visualizzazione dei dati di output. Il sistema finale era non invasivo, indossabile e portatile.

Abstract

Il presente lavoro si concentra su come costruire un'interfaccia cervello-computer indossabile (BCI). I BCI sono un nuovo mezzo di interazione uomo-computer che si basa su misurazioni dirette dei segnali cerebrali per assistere sia le persone con disabilità che coloro che sono normodotati. Esempi di applicazioni includono il controllo robotico, l'ispezione industriale e la neuroriabilitazione. In particolare, studi recenti hanno dimostrato che i potenziali evocati visivamente stazionari (SSVEP) sono particolarmente adatti per applicazioni di comunicazione e controllo e sono attualmente in corso sforzi per portare la tecnologia BCI nella vita quotidiana. Per raggiungere questo obiettivo, il sistema finale deve basarsi su strumentazione indossabile, portatile e a basso costo. Nello sfruttamento degli SSVEP è necessario uno stimolo visivo tremolante con frequenze fisse. Pertanto, nel considerare i vincoli della vita quotidiana, in questo studio è stata esplorata la possibilità di fornire stimoli visivi per mezzo di occhiali intelligenti. Inoltre, per rilevare i potenziali indotti, è stato preso in considerazione un dispositivo commerciale per l'elettroencefalografia (EEG). Questo è costituito da un unico canale differenziale con elettrodi secchi (senza gel conduttivo), ottenendo così la massima vestibilità e portabilità. In tale BCI, l'utente può interagire con gli occhiali intelligenti semplicemente fissando le icone che appaiono sul display. Su questo semplice principio, è stato costruito un BCI facile da usare e a basso costo integrando occhiali a realtà estesa (XR) con un dispositivo EEG disponibile in commercio. La funzionalità di questo XR-BCI indossabile è stata esaminata con una campagna sperimentale che ha coinvolto 20 soggetti. L'accuratezza della classificazione era compresa tra l'80% e il 95% in media a seconda del tempo di stimolazione. Dati questi risultati, il sistema può essere utilizzato come interfaccia uomo-macchina per l'ispezione industriale, ma anche per la riabilitazione nell'ADHD e nell'autismo.

Introduzione

Un'interfaccia cervello-computer (BCI) è un sistema che consente la comunicazione e/o il controllo di dispositivi senza percorsi neurali naturali¹. La tecnologia BCI è la cosa più vicina che l'umanità ha al controllo degli oggetti con il potere della mente. Da un punto di vista tecnico, il funzionamento del sistema funziona misurando l'attività cerebrale indotta o evocata, che potrebbe essere generata involontariamente o volontariamente dal soggetto². Storicamente, la ricerca si è concentrata sull'aiutare le persone con disabilità motorie attraverso BCI³, ma un numero crescente di aziende oggi offre strumentazione basata su BCI per giochi⁴, robotica⁵, industria⁶ e altre applicazioni che coinvolgono l'interazione uomo-macchina. In particolare, le BCI possono svolgere un ruolo nella quarta rivoluzione industriale, vale a dire l'industria 4.0⁷, in cui i sistemi di produzione ciberfisici stanno cambiando l'interazione tra gli esseri umani e l'ambiente circostante⁸. In generale, il progetto europeo BNCI Horizon 2020 ha identificato scenari applicativi come la sostituzione, il ripristino, il miglioramento, il potenziamento o l'integrazione delle funzioni naturali perse del sistema nervoso centrale, nonché l'uso del BCI nello studio del cervello⁹.

In questo contesto, i recenti progressi tecnologici significano che le interfacce cervello-computer possono essere applicabili per l'uso nella vita quotidiana^10,11. Per raggiungere questo obiettivo, il primo requisito è la non invasività, importante per evitare i rischi dell'intervento chirurgico e aumentare l'accettazione da parte dell'utente. Tuttavia, vale la pena notare che la scelta del neuroimaging non invasivo influisce sulla qualità dei segnali cerebrali misurati e il progetto BCI deve quindi affrontare le insidie associate¹². Inoltre, sono richieste vestibilità e portabilità. Questi requisiti sono in linea con la necessità di un sistema di facile utilizzo, ma pongono anche alcuni vincoli. Nel complesso, i vincoli hardware menzionati sono affrontati dall'uso di un sistema elettroencefalografico (EEG) con elettrodi privi di gel⁶. Tale BCI basato su EEG sarebbe anche a basso costo. Nel frattempo, in termini di software, sarebbe auspicabile una formazione minima dell'utente (o idealmente nessuna formazione); Vale a dire, sarebbe meglio evitare lunghi periodi per la messa a punto dell'algoritmo di elaborazione prima che l'utente possa utilizzare il sistema. Questo aspetto è critico nelle BCI a causa della non stazionarietà inter-soggetto e intra-soggetto^13,14.

La letteratura precedente ha dimostrato che la rilevazione dei potenziali cerebrali evocati è robusta rispetto alla non stazionarietà e al rumore nell'acquisizione del segnale. In altre parole, i BCI che si basano sulla rilevazione del potenziale evocato sono definiti reattivi e sono i BCI più performanti in termini di riconoscimento del pattern cerebrale¹⁵. Tuttavia, richiedono una stimolazione sensoriale, che è probabilmente il principale svantaggio di tali interfacce. L'obiettivo del metodo proposto è, quindi, quello di costruire un BCI altamente indossabile e portatile basato su strumentazione indossabile e pronta all'uso. Gli stimoli sensoriali qui consistono in luci tremolanti, generate da occhiali intelligenti, che sono in grado di suscitare potenziali evocati visivamente stazionari (SSVEP). Lavori precedenti hanno già preso in considerazione l'integrazione di BCI con la realtà virtuale da sola o in combinazione con la realtà aumentata¹⁶. Ad esempio, è stato proposto un sistema BCI-AR per controllare un quadricottero con SSVEP¹⁷. La realtà virtuale, la realtà aumentata e altri paradigmi sono indicati con il termine realtà estesa. In tale scenario, la scelta degli occhiali intelligenti è conforme ai requisiti di vestibilità e portabilità e gli occhiali intelligenti possono essere integrati con una configurazione di acquisizione EEG minima. Questo documento mostra che il BCI basato su SSVEP richiede anche una formazione minima, ottenendo al contempo prestazioni di classificazione accettabili per applicazioni di comunicazione e controllo a bassa-media velocità. Quindi, la tecnica viene applicata al BCI per applicazioni quotidiane e sembra particolarmente adatta per l'industria e la sanità.

Protocollo

Lo studio è stato approvato dal Comitato Etico di Ricerca Psicologica del Dipartimento di Studi Umanistici dell'Università degli Studi di Napoli Federico II. I volontari hanno firmato il consenso informato prima di partecipare agli esperimenti.

1. Preparare l'interfaccia cervello indossabile non invasivo - computer

1. Ottenere un elettroencefalografo di livello consumer a basso costo con elettrodi a secco e configurarlo per l'utilizzo a canale singolo.
   1. Cortocircuitare o collegare eventuali canali di ingresso inutilizzati sull'elettroencefalografo a basso costo a una tensione di riferimento interna come specificato nella scheda tecnica inerente. In tal modo, i canali inutilizzati sono disabilitati e non generano rumore di diafonia.
   2. Regolare il guadagno dell'elettroencefalografo (tipicamente attraverso un componente a resistenza variabile) per avere un intervallo di ingresso dell'ordine di 100 μV.
      NOTA: I segnali EEG da misurare sono nell'ordine di decine di microvolt. Tuttavia, gli elettrodi a secco sono fortemente influenzati dagli artefatti di movimento, che provocano oscillazioni dell'ordine di 100 μV a causa della variabilità dell'impedenza elettrodo-pelle. Aumentare l'intervallo di tensione di ingresso aiuta a limitare la saturazione dell'amplificatore EEG, ma non la elimina completamente. D'altra parte, sarebbe scomodo aumentare ulteriormente l'intervallo di tensione di ingresso, perché ciò influenzerebbe la risoluzione della tensione nella misurazione dei componenti EEG desiderati. In definitiva, i due aspetti devono essere bilanciati tenendo conto anche della risoluzione in bit del convertitore analogico-digitale all'interno della scheda elettroencefalografica.
   3. Preparare tre elettrodi asciutti da collegare alla scheda elettroencefalografica. Utilizzare un elettrodo passivo (senza preamplificazione) come elettrodo di riferimento. I restanti due elettrodi di misura dovrebbero essere attivi (cioè coinvolgere la pre-amplificazione e l'eventuale filtraggio analogico).
      NOTA: Gli elettrodi posizionati su un'area pelosa del cuoio capelluto richiedono perni per superare l'impedenza di contatto elettrodo-pelle. Se possibile, saldare perni d'argento con teste piatte (per evitare troppo dolore per l'utente) o idealmente utilizzare gomma conduttiva (morbida) con un rivestimento Ag / AgCl.
2. Ottieni occhiali intelligenti commerciali con un sistema operativo Android e una frequenza di aggiornamento di 60 Hz. In alternativa, utilizzare una frequenza di aggiornamento inferiore. Una frequenza di aggiornamento più elevata sarebbe auspicabile per gli stimoli in quanto ci sarebbe meno affaticamento degli occhi, ma non ci sono soluzioni attualmente disponibili sul mercato.
   1. Scarica il codice sorgente di un'applicazione Android per la comunicazione o il controllo o sviluppane una.
   2. Sostituire i pulsanti virtuali nell'applicazione con icone tremolanti modificando l'oggetto inerente (di solito in Java o Kotlin). Si consigliano quadrati bianchi con almeno il 5% di dimensione dello schermo. Di solito, più grande è il quadrato stimolante, più alto sarà il componente SSVEP da rilevare, ma un optimum può essere trovato a seconda del caso specifico. Le frequenze consigliate sono lo sfarfallio di 10 Hz e 12 Hz. Implementare lo sfarfallio sull'unità di elaborazione grafica (GPU) per evitare di sovraccaricare l'unità di elaborazione (CPU) degli occhiali intelligenti. A tale scopo, utilizzare oggetti della libreria OpenGL.
   3. Implementare un modulo dell'applicazione Android per l'elaborazione in tempo reale del flusso EEG in ingresso. Il servizio USB Android può essere aggiunto in modo che il flusso possa essere ricevuto tramite USB. L'elaborazione in tempo reale può semplicemente applicare una finestra scorrevole al flusso EEG considerando i pacchetti in entrata. Calcola le densità spettrali di potenza associate alle frequenze di 10 Hz e 12 Hz attraverso una funzione di trasformata di Fourier veloce. Un classificatore addestrato può, quindi, distinguere che l'utente sta guardando l'icona di sfarfallio a 10 Hz o l'icona di sfarfallio a 12 Hz classificando le caratteristiche di densità spettrale di potenza.

2. Calibrare l'interfaccia cervello - computer basata su SSVEP

NOTA: Per questo studio sono stati scelti volontari sani. Escludere soggetti con una storia di malattie cerebrali. Ai soggetti coinvolti è stato richiesto di avere una visione normale o corretta alla normalità. Sono stati istruiti ad essere rilassati durante gli esperimenti e ad evitare movimenti non necessari, specialmente della testa.

1. Lascia che l'utente indossi gli occhiali intelligenti con l'applicazione Android.
2. Lasciare che l'utente indossi una fascia stretta per tenere gli elettrodi.
3. Collegare l'elettroencefalografo a basso costo a un PC tramite un cavo USB mentre il PC è scollegato dall'alimentazione principale.
   1. Inizialmente scollegare tutti gli elettrodi dalla scheda di acquisizione dell'elettroencefalografo per iniziare da una condizione nota.
   2. In questa fase, il flusso EEG viene elaborato offline sul PC con uno script compatibile con l'elaborazione implementata nell'applicazione Android. Avviare lo script per ricevere i segnali EEG e visualizzarli.
4. Controllare il segnale visualizzato che viene elaborato offline. Questo deve corrispondere solo al rumore di quantizzazione dell'amplificatore EEG.
5. Collegare gli elettrodi.
   1. Applicare l'elettrodo passivo all'orecchio sinistro con una clip personalizzata o utilizzare un elettrodo con clip per le orecchie. Il segnale di uscita deve rimanere invariato in questa fase perché il canale differenziale di misura è ancora un circuito aperto.
   2. Collegare un elettrodo attivo al terminale negativo dell'ingresso differenziale del canale EEG di misurazione e applicare alla regione frontale (posizione standard Fpz) con un fascietto. Dopo alcuni secondi, il segnale dovrebbe tornare a zero (rumore di quantizzazione).
   3. Collegare l'altro elettrodo attivo al terminale positivo dell'ingresso differenziale del canale EEG di misurazione e applicare alla regione occipitale (posizione standard di Oz) con l'archetto. Viene ora visualizzato un segnale cerebrale, che corrisponde all'attività visiva misurata rispetto all'area frontale del cervello (nessuna attività visiva prevista lì).
6. Acquisire segnali per la calibrazione del sistema.
   1. Stimolare ripetutamente l'utente con icone di sfarfallio a 10 Hz e 12 Hz (ed eventualmente altre) avviando l'icona di sfarfallio nell'applicazione Android e acquisire e salvare i segnali EEG inerenti per l'elaborazione offline. Assicurati che ogni stimolazione in questa fase consista in una singola icona che sfarfalla per 10 secondi e avvia l'icona di sfarfallio premendo sul touchpad degli occhiali intelligenti mentre avvii anche lo script di acquisizione e visualizzazione EEG.
   2. Dai segnali a 10 s associati ad ogni stimolazione, estrarre due caratteristiche usando la trasformata di Fourier veloce: la densità spettrale di potenza a 10 Hz e a 12 Hz. In alternativa, si considerino le seconde armoniche (20 Hz e 24 Hz).
   3. Utilizzare una rappresentazione dei segnali acquisiti nel dominio delle funzionalità per addestrare un classificatore di macchine vettoriali di supporto. Utilizzare uno strumento (in Matlab o Python) per identificare i parametri di un iperpiano con un eventuale kernel basato sulle funzionalità di input. Il modello addestrato sarà in grado di classificare future osservazioni di segnali EEG.

3. Assemblare l'interfaccia finale indossabile e portatile basata su SSVEP

1. Scollegare il cavo USB dal PC e collegarlo direttamente agli occhiali intelligenti.
2. Inserire i parametri del classificatore addestrato nell'applicazione Android. Il sistema è ora pronto.

Risultati

Una possibile implementazione del sistema sopra descritto è mostrata in Figura 1; Questa implementazione consente all'utente di navigare nella realtà aumentata attraverso l'attività cerebrale. Le icone tremolanti sul display degli occhiali intelligenti corrispondono alle azioni per l'applicazione (Figura 1A) e, quindi, questi occhiali rappresentano un sostituto per un'interfaccia tradizionale basata sulla pressione di pulsant...

Discussione

Il corretto funzionamento del sistema coinvolge due aspetti cruciali: l'elicitazione SSVEP e l'acquisizione del segnale. A parte i dispositivi specifici scelti per lo studio attuale, SSVEP potrebbe essere ottenuto con diversi dispositivi che forniscono una luce tremolante, anche se gli occhiali intelligenti sono preferiti per garantire vestibilità e portabilità. Analogamente, potrebbero essere presi in considerazione ulteriori elettroencefalografi commerciali, ma dovrebbero essere indossabili, portatili e coinvolgere u...

Materiali

Name	Company	Catalog Number	Comments
Conductive rubber with Ag/AgCl coating	ab medica s.p.a.	N/A	Alternative electrodes – type 2
Earclip electrode	OpenBCI	N/A	Ear clip
EEG-AE	Olimex	N/A	Active electrodes
EEG-PE	Olimex	N/A	Passive electrode
EEG-SMT	Olimex	N/A	Low-cost electroencephalograph
Moverio BT-200	Epson	N/A	Smart glasses
Snap electrodes	OpenBCI	N/A	Alternative electrodes – type 1