Una piattaforma sperimentale per studiare il ciclo chiuso delle prestazioni di interfacce cervello-macchina

Riepilogo

Usiamo un circuito chiuso volare-macchina per studiare i principi generali di controllo neuronale.

Abstract

La non-stazionari natura e variabilità dei segnali neuronali è un problema fondamentale nel cervello-macchina interfacciamento. Abbiamo sviluppato un cervello-macchina per valutare la robustezza delle diverse leggi di controllo applicato ad un circuito chiuso compito di stabilizzazione dell'immagine. Approfittando della ben caratterizzati volare via visuomotoria si registra l'attività elettrica di un identificato, sensibile al movimento dei neuroni, H1, per controllare la rotazione di imbardata di un robot a due ruote. Il robot è dotato di 2 telecamere ad alta velocità video di fornire un contributo visivo di movimento per una mosca posta davanti di 2 monitor CRT. L'attività del neurone H1 indica la direzione e la velocità relativa di rotazione del robot. L'attività neurale è filtrata e reimmessa nel sistema di sterzo del robot per mezzo di controllo proporzionale e proporzionale / adattiva. Il nostro obiettivo è quello di testare e ottimizzare le prestazioni delle varie leggi di controllo in anello chiuso condizioni per una più ampia applicazione anche in altre interfacce macchina del cervello.

Protocollo

1. Preparazione volare

1. Il primo passo nella creazione degli esperimenti comporta la preparazione al volo in modo che non corrompe il movimento involontario della stabilità delle registrazioni neuronali e che il capo della mosca sia orientata correttamente con le apparecchiature stimolazione visiva. Per iniziare la preparazione al volo, raffreddare su ghiaccio e poi usare stuzzicadenti smussati per tenere le ali verso il basso, e fissare la parte posteriore del volano a un pezzo di biadesivo, nastro su un vetrino da microscopio.
2. Successivamente, utilizzare un ago elettro-cauterizzare applicare cera d'api per fissare le ali alla diapositiva e anche di bloccare l'azione del motore di volo. Questa fase richiede una gestione rapida e precisa in modo che la mosca non si riscalda durante la procedura.
3. Ora sotto il microscopio, tenere ogni gamba con una pinza e utilizzare un paio di piccole forbici per tagliare loro all'altezza delle articolazioni più vicine al corpo. Ripetete l'operazione per la proboscide. Per evitare che la mosca si secchi, i fori devono essere sigillati con cera.
4. Successivamente, tagliare una delle ali fuori e poi girare al volo su un fianco. Rimuovere eventuali pezzi rimanenti di ala, lasciando il calyptra che copre il bilancieri, e sigillare il foro con cera. Ripetere la procedura per l'altra ala.
5. Per stimolare un neurone bersaglio in un modo definito, la testa della mosca deve essere correttamente allineato con il monitor di computer. Per fare ciò, avrete bisogno di un supporto personalizzato che ha un ampio spazio per il corpo della mosca e un'appendice su un lato con una tacca in cui il collo al volo sarà collocato.
6. Posto al volo sul supporto con il collo nella tacca, premendo verso il basso mentre l'incollaggio l'addome in posizione. Ora, posto al titolare volare in uno stand in modo che si può vedere la parte anteriore della testa della mosca attraverso il microscopio.
7. Guarda al volo con luce rossa, un fenomeno ottico chiamato pseudo-allievo può essere visto in ogni occhio. La pseudo-allievo fornisce una cornice di riferimento che può essere utilizzato per allineare la testa della mosca con lo stimolo (Franceschini 1975). Se la pseudo-allievo assume una certa forma, come dimostra l'inserto immagine qui sotto, poi l'orientamento della testa della mosca è perfettamente definito.
   
   
   
8. Utilizzare un micromanipolatore per orientare correttamente la testa della mosca, e poi usare la cera per incollare al titolare.
9. Successivamente, premere il torace giù piatto e cera al titolare. Questo permette alla capsula posteriore testa di essere aperti in modo che gli elettrodi può essere inserito nel cervello volare.
10. Utilizzare un micro bisturi o un ago sottile iniezione di tagliare con attenzione una finestra nella cuticola della capsula andare a destra. Fare attenzione a non tagliare il tessuto neurale destra sotto la cuticola. Una volta che il pezzo di cuticola viene rimosso, aggiungere alcune gocce di soluzione di Ringer.
11. Usare pinze per rimuovere tutti i capelli fluttuanti, depositi di grasso, o il tessuto muscolare che possono coprire la piastra lobula. La piastra lobula possono essere identificati da un modello caratteristico di ramificazione della trachea argentea che copre la sua superficie posteriore.
12. Tagliare un piccolo foro nella cuticola della capsula posteriore sinistra testa per il posizionamento di un elettrodo di riferimento. Con la mosca preparato, vediamo come posizionare l'elettrodo di registrazione.

2. Posizionamento del elettrodi di registrazione

1. Con la mosca preparato, andiamo a individuare e registrare i segnali provenienti dal neurone H1. L'elettrodo di registrazione devono essere posti in prossimità del neurone H1. Il neurone H1 risponde principalmente a orizzontale back-to-front mozione presentata al suo campo recettivo (Krapp et al. 2001).
2. Per posizionare l'elettrodo di registrazione, utilizzare la trachea come punto di riferimento visivo. Inizialmente, l'elettrodo posto tra la trachea superiore.
3. Essa aiuta a utilizzare un amplificatore audio per convertire il potenziale elettrico registrato in segnali acustici. Ogni picco individuo è trasformato in un suono caratteristico clic. Quanto più l'elettrodo arriva a un singolo neurone, più chiaro il ticchettio diventa.
4. Per identificare il neurone H1 per mezzo di sua preferenza movimento, stimolare con movimento in direzione orizzontale. Con l'elettrodo di registrazione a posto, lascia passare alla stimolazione visiva e registrazioni.

3. La stimolazione visiva e Recordings

1. Il ciclo chiuso esperimenti sono stati impostati in modo tale che tale che la stimolazione dei neuroni risultati H1 nel robot per compensare il movimento del turn-table. Per iniziare, posto una mosca di fronte a due monitor CRT. Poiché il sistema visivo volo è 10 volte più veloce è umano l', il monitor deve mostrare 200 fotogrammi al secondo. I monitor e altre apparecchiature elettriche devono essere schermati elettromagneticamente per minimizzare il rumore esterno nel segnale misurato neuronale.
2. Posizione dei centri dei monitor a + / - 45 gradi rispetto all'orientamento della mosca. Come si è visto dall'equatore occhio della mosca, ogni monitor sottende un angolo di + / -25 gradi in orizzontale e +/ -19 ° sul piano verticale.
3. Ingresso sincronizzati con il monitor del computer è fornita da due telecamere montate su un piccolo robot a due ruote ASURO che è stato modificato per l'esperimento.
4. Posizionare il robot su un turn-table in una zona cilindrica le cui pareti sono rivestite con un modello di orientamento verticale, strisce bianche e nere. Ruotando il turn-tavolo sul piano orizzontale, i movimenti del robot sono limitati a un solo grado di libertà.
5. Inizialmente sia il turn-tavolo e robot sono a riposo. Quando il turn-tavola comincia a muoversi, la sua rotazione porta il robot, nella stessa direzione e le telecamere registrare il moto relativo tra il robot e il pattern a strisce dell'arena.
6. La batteria telecamere sul robot sono montati un orientamento di + / - 45 gradi. Catturano 200 immagini al secondo per abbinare il frame rate del monitor dei computer di fronte al volo.
7. Registro delle immagini presentate al monitor per computer a 200 fotogrammi al secondo con una risoluzione di 640 x 480 (scala di grigi).
8. Mentre la mosca è guardando i movimenti del modello a strisce, registrare la banda passò filtrata (per esempio, tra i 300 ei 2 kHz) segnali elettrici con una scheda di acquisizione digitale utilizzando una frequenza di campionamento di almeno 10 kHz.
9. Una soglia viene applicata la banda passò filtrata segnali elettrici per separare le punte dall'attività di fondo. Un causale, mezza gaussiana filtro è convoluta con le punte di ottenere una superficie liscia stima attività spiking per la cella H1.
10. Per chiudere il ciclo della macchina interfaccia cervello, un algoritmo di controllo è utilizzato per convertire il tasso di picco della cella H1 a una velocità di robot che viene reimmessa tramite un'interfaccia Bluetooth per controllare due motori DC guida le ruote del robot.
11. Pure onde sinusoidali sono scelti come profili di velocità per il turn-table. Le onde sinusoidali hanno un DC-offset in modo che il turn-table ruota solo nella direzione che stimola il neurone H1 lungo la sua direzione preferita. La stimolazione dei neuroni risultati H1 nel robot per compensare il movimento del turn-table.
    
    
    Figura 1: configurazione ad anello chiuso. Nella nostra impostazione, l'attività incurvamento del cellulare H1 sinistra viene utilizzato per controllare il movimento di un robot montato su una piattaforma girevole. Movimento immagine visiva generato come risultato di moto relativo tra il robot e il turn-tavolo è catturato attraverso telecamere ad alta velocità e visualizzate su due monitor CRT di fronte al volo. Attività H1 da chiodare l'emisfero sinistro è usato per stimare il tempo reale tasso di punta, che utilizza poi una legge di controllo di calcolare una velocità di compensazione per il robot. Il robot contro-rotazione stabilizza il movimento visivo dell'immagine osservata dalla mosca durante controllo a circuito chiuso.
    
    

4. Rappresentante Outcome e Risultati

1. Quando configurato correttamente, la stabilizzazione visivo è raggiunto quando la contro-rotazione del robot corrisponde la rotazione del turn-table, con conseguente movimento schema poco o niente sul monitor di computer. La performance complessiva del sistema dipende l'algoritmo di controllo utilizzato per chiudere il ciclo.
2. Il primo algoritmo ci prova è un controllore proporzionale (figura 2) dove la velocità del robot aggiornato è proporzionale alla differenza di velocità angolare tra il robot, ωr, e il turn-table, ωp. Valori diversi per il guadagno statico, Kp, e frequenze di ingresso per il turn-table segnale, ωp, vengono scelti per testare le prestazioni del controller.
   
   
   
   Figura 2: controller proporzionale. (A) il movimento relativo tra il robot e il turn-tavolo nella direzione preferita stimola la cellula H1 per dare il tasso di punta, F. Questo tasso di picco viene convertito in un errore di velocità, E, e un controller proporzionale viene utilizzato per stimare la robot velocità aggiornati, vr (t +1). Il tasso di punta, F, viene convertito l'errore di velocità, E, a seconda che sia inferiore o superiore al tasso spontaneo punta, Fspont. Il tasso di picco di velocità di conversione di errore viene fatto da proiettando F nel corso di un coseno (intervallo [π, 0]) per tenere conto di spiking linearità tasso soglia. Le costanti 70 e 150 sono utilizzati per corrispondere al 8-bit velocità di ingresso del robot alla velocità minima e massima angolare del turn-table. (B) Schema a blocchi che mostra sistema a ciclo chiuso utilizzando un controller proporzionale. L'ingresso al sistema è una modulazione sinosuidali del turn-table velocità angolare, ωp (t), e la corrispondente robot risposta ωr (t +1) viene registrato.
   
   
3. Tracce del campione per _p e _r ω ω sono riportati qui per K _p = 1 e una frequenza di ingresso di 0,6 Hz per ω _p (vedi figura 3). Il robot (in verde) segue il turn-table (in blu) con un ritardoe uno più piccolo picco di ampiezza. La componente orizzontale del moto modello che stimola la cellula H1 è la seguente (in rosso).
   
   
   
   Figura 3: le risposte a circuito chiuso. (A) velocità angolare per il turn-table (blu), ωp e robot (verde), ωr, alla frequenza di ingresso = 0,6 Hz. (B) il flusso ottico orizzontale è indicato come calcolato da immagini registrati (rosso). Piramidale Lucas metodo Kanade (3 livelli piramide) viene utilizzato per calcolare il campo di flusso ottico tra i fotogrammi dell'immagine successive. Orizzontale, la velocità angolare è calcolato sommando le proiezioni dei vettori individuali in campi flusso sull'unità orizzontale vettore i. Orizzontale back-to-front movimento che eccita la cellula H1 è indicato come PD (direzione preferita) mentre orizzontali front-to-back movimento che inibisce la cella H1 è indicato come ND (direzione null).
   
   
4. Frequenze di ingresso per il turn-table segnale, ωp, sono scelti tra 0,03-3 Hz e il segnale corrispondente robot, ωr, viene registrato. Entrambi i segnali vengono trasformati nel dominio della frequenza da una trasformata rapida di Fourier (vedi figura 4) ed i valori di ampiezza e fase sono calcolati alla frequenza di ingresso.
   
   
   
   Figura 4: Risposta in frequenza dei segnali di velocità angolare per il turn-table, ωp, e robot, ωr, si trasformano nel dominio della frequenza utilizzando la trasformata rapida di Fourier (FFT) per calcolare l'ampiezza e componenti di fase alla frequenza di ingresso.. Componenti fase di FFT non sono mostrati in figura.
   
   
5. Il diagramma di Bode grandezza per il controllore proporzionale con K _p = 1 mostra la risposta del sistema sulle frequenze di ingresso controllato (vedi figura 5-a). Le prestazioni del controller generalmente diminuisce con l'aumentare delle frequenze. Il guadagno leggermente aumentata a 1 Hz è il risultato di oscillazioni del segnale a causa di robot utilizzando un solo H1-cellula la cui dinamica (output) gamma copre prevalentemente orizzontale movimento back-to-front.
   
   
   
   Figura 5: le prestazioni del controller proporzionale. I diagrammi di Bode ampiezza e fase per il controllore proporzionale (una media di oltre 8 aria), il guadagno statico Kp = 1.0 (a) il diagramma di Bode grandezza segue approssimativamente una caratteristica filtro passa-basso. Il guadagno leggermente aumentata a 1 Hz è il risultato di oscillazioni nel segnale robot, ωr, a causa dell'uso di un solo H1-cellula la cui dinamica (output) gamma copre prevalentemente orizzontale di nuovo al movimento davanti. Il numero di oscillazioni nel segnale robot, ωr, diminuiscono con frequenze di ingresso sempre più importante per guadagnare un leggero aumento a queste frequenze. (B) il diagramma di Bode di fase è inferiore a 180 ° per frequenze di ingresso ≤ 1 Hz e l'instabilità si avvicina a 3 Hz. Oltre una certa frequenza di ingresso, il regolatore diventa instabile a causa della cinematica del robot. Questa instabilità si verifica solo al di là della nota gamma di risposta ottimale del sistema visivo volare (Warzecha et al. 1999).
   
   
6. Il diagramma di Bode di fase (vedi figura 5-b) mostra una fase di controllo lag meno di Π per frequenze di ingresso <0,6 Hz. Questo dimostra che il controller è stabile per le frequenze <0,6 Hz e instabile per frequenze di ingresso ≥ 1 Hz.
7. Le prestazioni del regolatore proporzionale con Kp statica (in blu) è stato confrontato con un controllore adattativo (in rosso), dove viene aggiornato il valore di K _p ogni 50 ms in base alla velocità di picco punta, C _max, calcolato su intervallo di tempo [t-500ms - t] (vedi figura 6). Come risultato della grande finestra tempo di integrazione, il controllore proporzionale prestazioni migliori rispetto il controllore adattativo per la gamma dei parametri testati (vedi figura 7-a). La prima finestra di tempo di integrazione di 500 ms è stato scelto per ragioni tecniche legate alla piattaforma robotica che stiamo usando. Il regolatore adattativo aveva una caratteristica simile fase del controllore proporzionale (vedi figura 7-b).
   
   
   
   Figura 6: guadagno del regolatore Adaptive. Il regolatore proporzionale utilizza un guadagno statico, Kp, mentre il controllore adattativo stima il guadagno continuamente durante il controllo ad anello chiuso. Il guadagno dinamico, Kp, è inversamente proporzionale al tasso massimo picco, Fmax, durante l'intervallo t-500ms ≤ τ ≤ t. La figura mostra tre casi in cui si stima Fmax nel tempo. Sulla base dei valori stimati di Fmax, Kp è più alto durante la finestra di tempo di 2 (verde) e più bassi durante la finestra di tempo di 3 (arancione).
   
   
   
   Figura 7: Regolatore Proporzionale vs adattativo. Diagrammi di Bode ampiezza e fase per il proporzionale (Kp = 1) e di controllo adattativo(A) gli aggiornamenti di controllo adattativo il valore di Kp ogni 50ms in base al picco Fmax stima tasso di punta negli ultimi 500 ms. La trama guadagno proporzionale del controller (blu) è superiore a quello del regolatore adattativo (rosso) che indica che si tratta di risultati migliori a tutte le frequenze di ingresso. (B) i diagrammi di Bode di fase per entrambi i controller sono simili, con una differenza significativa a f = 0,3 Hz. Entrambi i controller approccio instabilità a 3 Hz. Significativamente differenti valori di guadagno e di fase sono contrassegnati da un (metodo della somma dei ranghi di Wilcoxon, p = 0,05) asterix.
   
   
8. Il modello di griglia di tutto il giradischi è stato rimosso e l'ambiente di laboratorio è stata utilizzata come approssimazione della naturalistico input visivo per il volo H1-cell. In media, il diagramma di Bode grandezza (vedi figura 8-a) per l'ingresso naturalistico visivo (in blu) ha mostrato aumenti leggermente superiore a quello con ingresso reticolo visivo (in rosso), probabilmente perché la più ampia gamma di frequenze spaziali in naturalistico immagini visive viene sfruttato. Il Bode caratteristiche di fase trama da grattugia vs naturalistico input visivi erano simili (vedi figura 8-b).
   
   
   
   Figura 8: Stripped modello vs ambiente di laboratorio. Il Bode grandezza e le trame di fase per il controller proporzionale quando sono presentati con disegni spogliato (rosso) vs laboratorio ambiente (blu) immagini visive in anello chiuso (a) diagramma di Bode grandezza per quando le immagini ambiente di laboratorio vengono utilizzati è marginalmente superiore rispetto a quando modello spogliato è usato (se non a f = 0,1 Hz) che indica una migliore performance sotto stimolo del genere. (B) il diagramma di Bode di fase, sia in condizioni visive seguire lo stesso modello, sia con l'instabilità si avvicina a 3 Hz. Significativamente differenti valori di guadagno e di fase sono contrassegnati da un (metodo della somma dei ranghi di Wilcoxon, p = 0,05) asterix.
   
   

Discussione

1. Vola dissezione deve essere effettuata con cura fare in modo che noi orientare correttamente al volo con riguardo al monitor di computer.
2. Separare le punte dal neurone H1 dal picchi da tutte le altri neuroni per ottenere un buon rapporto segnale rumore che possono poi essere utilizzati per controllare il robot affidabile.
3. Si deve prestare attenzione per evitare qualsiasi tessuto neurale si secchi durante il corso dell'esperimento.
4. Le telecamere sono collegate al computer tramite un cavo Ethernet. Si deve prestare attenzione in modo che non siano troppo ferita durante l'esperimento come che influenzerebbero la rotazione del robot.
5. Attualmente stiamo usando l'attività di punta di un H1 per impostare un lavoro di stabilizzazione in un solo senso di rotazione di imbardata. Siamo in grado di aggiungere un secondo elettrodo per ricevere il segnale da H1 sia a destra ea sinistra in modo che possiamo studiare gli algoritmi di controllo di stabilizzazione nei due sensi di rotazione di imbardata.
6. Siamo in grado di rimuovere l'arena che contiene le strisce in verticale orientata in bianco e nero e utilizzare l'ambiente di laboratorio, come lo stimolo visivo per il volo. Questo ci permetterà di studiare a ciclo chiuso prestazioni con immagini naturalistiche.
7. Il robot può essere rimosso dal turn-tavolo e ha permesso di muoversi l'ambiente di laboratorio, mentre nel controllo a circuito chiuso. Questo ci permetterà di investigare algoritmi di controllo coinvolti nella prevenzione delle collisioni.
8. I fili di collegamento delle telecamere ai computer può essere rimosso mediante l'attuazione di un sistema di trasmissione wireless, dandoci un setup completamente sfrenata robotica.
9. Le misure di esecuzione degli algoritmi di controllo diversi ci darà una comprensione di come le diverse strategie sono in grado di far fronte a segnali neuronali non stazionario e variabile. Questa conoscenza può essere applicato a diversi clinici e non clinici interfacce cervello-macchina.
10. Questa configurazione sperimentale è il primo passo verso la registrazione di segnali neuronali comportarsi da animali. Il nostro obiettivo è quello di mettere la mosca sul robot e utilizza le sue attività neurale per il controllo ad anello chiuso. In una tale impostazione, saremmo in grado di registrare l'attività neurale dalla mosca mentre è riceve una stimolazione multisensoriale come conseguenza del moto del robot.
11. Registrare segnali solo da una cellula. Nella configurazione che si dovrebbe, il cellulare più adatto sarebbe il H1-cell. Isolando le risposte del neurone H1 da altri neuroni con campi recettivi simili, ad esempio H2, è importante per mantenere un buon rapporto segnale rumore per le registrazioni neuronali. Le risposte dei neuroni H1 e H2 può essere discriminato da notare che la H2 è tipicamente inferiore spontaneo e tasso medio di chiodare il neurone H1. I neuroni possono essere discriminati sulla base della loro morfologia (Krapp et al. 2001).
12. Il nostro sistema ci permette di confrontare il ciclo chiuso guadagno ottenuto dal nostro fly-robot interfaccia su un compito stabilizzazione dell'immagine, e di confrontare le prestazioni con circuito chiuso guadagni optomotor osservato in precedenti esperimenti sui moscerini (Bender & Dickinson 2006, Warzecha et al . 1996, Heisenberg & Wolf, 1990). Inoltre, ci permette di indagare dipendenti dallo stato i cambiamenti nel trattamento dell'informazione visiva in condizioni di circuito chiuso (Chiappe et al. 2010, Maimon et al. 2010, Longden & Krapp 2009, Longden & Krapp 2010).

Materiali