Une plate-forme expérimentale pour étudier les performances en boucle fermée des interfaces cerveau-machine

Résumé

Nous utilisons une boucle fermée fly-machine interface pour enquêter sur les principes généraux de contrôle neuronal.

Résumé

La nature non stationnaire et de la variabilité des signaux neuronaux est un problème fondamental dans l'interfaçage cerveau-machine. Nous avons développé une interface cerveau-machine pour évaluer la robustesse des différentes lois de contrôle-appliqués à une tâche en boucle fermée de stabilisation d'image. Profitant de la bien caractérisés volée voie visuomotrice nous enregistrons l'activité électrique d'un identifiés, sensibles au mouvement des neurones, H1, pour contrôler la rotation de lacet d'un robot à deux roues. Le robot est équipé de 2 caméras vidéo à haute vitesse offrant entrée du mouvement visuel à une mouche placée en face de deux écrans d'ordinateur à tube cathodique. L'activité du neurone H1 indique la direction et la vitesse relative de rotation du robot. L'activité neuronale est filtrée et réinjectée dans le système de direction du robot par le biais du contrôle proportionnel et proportionnel / adaptatifs. Notre objectif est de tester et d'optimiser les performances des différentes lois sur le contrôle en boucle fermée des conditions pour une application plus large que dans d'autres interfaces cerveau-machine.

Protocole

1. Préparation Fly

1. La première étape dans la mise en place des expériences consiste à préparer la volée afin que personne ne corrompt mouvement involontaire de la stabilité des enregistrements de neurones et que la tête de la mouche est correctement orientée avec le matériel de stimulation visuelle. Pour commencer à préparer la volée, il refroidir sur glace, puis utilisez bâtonnets à cocktail émoussé pour tenir les ailes vers le bas, et fixer à l'arrière de la mouche sur un morceau de double face-bande sur une lame de microscope.
2. Ensuite, utilisez une aiguille de l'électro-cautérisation à appliquer la cire d'abeille pour attacher les ailes à la diapositive et également de bloquer l'action du moteur en vol. Cette étape nécessite une manipulation rapide et précise afin que la mouche ne se réchauffe pas pendant la procédure.
3. Maintenant sous le microscope, tenez chaque jambe avec une pince et l'utilisation d'une paire de petits ciseaux pour les couper au niveau des articulations la plus proche du corps. Répétez cette opération pour la trompe. Pour éviter la volée de sécher, les trous doivent être scellés à la cire.
4. Ensuite, découpez l'une des ailes hors tension, puis tournez à la volée sur le côté. Retirez les morceaux restants de l'aile, tout en laissant la calyptra couvrant les haltères, et sceller le trou avec de la cire. Répétez cette procédure pour l'autre aile.
5. Afin de stimuler un neurone cible d'une manière définie, la tête de la mouche doit être correctement alignée avec les moniteurs d'ordinateur. Pour ce faire, vous aurez besoin d'un support personnalisé qui a un large espace pour le corps de la mouche et un appendice à une extrémité avec une entaille au cou, où la mouche sera placé.
6. Placez la volée sur le support avec son cou dans l'encoche, le pressant alors coller l'abdomen en place. Maintenant, placez le titulaire voler dans un stand de sorte que vous pouvez voir le devant de la tête de la mouche à travers le microscope.
7. Voir la volée avec une lumière rouge, un phénomène optique appelé la pupille de pseudo-peut être vu dans chaque oeil. L'élève de pseudo-fournit un cadre de référence qui peut être utilisé pour aligner la tête de la mouche avec le stimulus (Franceschini, 1975). Si l'élève pseudo-suppose une certaine forme, comme le montre l'image ci-dessous insérer, puis l'orientation de la tête de la mouche est parfaitement défini.
   
   
   
8. Utilisez un micromanipulateur d'orienter correctement la tête de la mouche, et ensuite utiliser la cire pour coller sur le support.
9. Ensuite, appuyez sur le thorax à plat et c'est de la cire pour le porteur. Cela permet à la capsule de la tête à l'arrière d'être ouvert afin que les électrodes peuvent être insérés dans le cerveau voler.
10. Utilisez un micro scalpel ou une aiguille fine pour l'injection soigneusement découpé une fenêtre sur la cuticule de la capsule céphalique droite. Soyez prudent de ne pas couper la droite tissu neural sous la cuticule. Une fois le morceau de cuticule est enlevé, ajouter quelques gouttes de solution de Ringer.
11. Utilisez une pince pour enlever les poils flottants, les dépôts de graisse, ou tissu musculaire qui peut couvrir la plaque lobula. La plaque lobula peuvent être identifiées par un motif caractéristique de branchement de la trachée argentée qui recouvre sa surface postérieure.
12. Coupez un petit trou dans la cuticule de la capsule-tête arrière gauche pour le positionnement d'une électrode de référence. Avec la volée préparés, permet de voir comment la position de l'électrode d'enregistrement.

2. Positionnement de l'électrode d'enregistrement

1. Avec la volée préparés, nous allons procéder à la localisation et l'enregistrement des signaux du neurone H1. L'électrode d'enregistrement doit être placé à proximité du neurone H1. Le neurone H1 répond principalement à l'horizontale dos-à-face motion présentée à son champ récepteur (Krapp et al. 2001).
2. Pour la position de l'électrode d'enregistrement, l'utilisation de la trachée comme un repère visuel. Initialement, placer l'électrode entre la trachée supérieure.
3. Il aide à l'utilisation d'un amplificateur audio à convertir les potentiels enregistrés électriques en signaux acoustiques. Chaque pointe individu est transformé en un son caractéristique cliquant. Le plus proche de l'électrode arrive à un neurone individuel, la plus claire le déclic devient.
4. Pour identifier le neurone H1 au moyen de son choix de mouvement, de le stimuler avec le mouvement dans le sens horizontal. Avec l'électrode d'enregistrement en place, permet de passer à la stimulation visuelle et des enregistrements.

3. Stimulation enregistrements visuels et

1. Les expériences en boucle fermée sont configurés de telle sorte que de telles que la stimulation des résultats neurone H1 dans le robot pour compenser le mouvement de la table tournante. Pour commencer, placez une mouche devant deux écrans d'ordinateur à tube cathodique. Parce que le système visuel est volée 10 fois plus rapide que celle de l'humain, les moniteurs doivent afficher 200 images par seconde. Les moniteurs et autres équipements électriques doit être blindé électromagnétiquement pour minimiser le bruit externe dans le signal mesuré neuronale.
2. Position des centres des moniteurs à + / - 45 degrés par rapport à l'orientation de la mouche. Comme il ressort de l'équateur œil de la mouche, chaque moniteur tend un angle de + / -25 degrés à l'horizontale, et +/ -19 Degrés dans le plan vertical.
3. Entrée synchronisée aux moniteurs d'ordinateur est assurée par deux caméras vidéo montées sur un petit robot ASURO deux roues qui a été modifié pour l'expérience.
4. Placez le robot sur une table tournante dans une zone cylindrique dont les murs sont tapissés avec un motif d'orientation verticale, rayures noires et blanches. En tournant le tour de table dans le plan horizontal, les mouvements du robot sont limités à un seul degré de liberté.
5. Initialement fois le tour de table et le robot sont au repos. Lorsque le tour de table commence à se déplacer, effectue sa rotation du robot, dans la même direction et les caméras vidéo enregistrent le mouvement relatif entre le robot et le motif rayé de l'arène.
6. Les caméras vidéo à piles sur le robot sont montés à une orientation de + / - 45 degrés. Ils capturent 200 images par seconde pour correspondre à la fréquence d'image des moniteurs d'ordinateur en face de la volée.
7. Connexion des images présentées sur les écrans d'ordinateur à 200 images par seconde à une résolution de 640 x 480 (échelle de gris).
8. Alors que la mouche est à regarder les mouvements des rayures, d'enregistrer la bande-passé filtrée (par exemple, entre 300 et 2 kHz) des signaux électriques avec une carte d'acquisition numérique en utilisant un taux d'échantillonnage d'au moins 10 kHz.
9. Un seuil est appliqué à la bande-filtrée signaux électriques transmis à séparer les pointes de l'activité de fond. Une causalité, demi-filtre gaussien est convoluée avec les pointes d'obtenir une estimation de dopage en douceur l'activité de la cellule H1.
10. Pour fermer la boucle de l'interface cerveau-machine, un algorithme de contrôle est utilisé pour convertir le taux de pic de la cellule H1 à une vitesse du robot qui est réinjectée via une interface Bluetooth pour contrôler les deux moteurs DC entraînant les roues du robot.
11. Pur ondes sinusoïdales sont choisis comme les profils de vitesse pour le tour de table. Les ondes sinusoïdales ont une telle DC-offset que la table tournante tourne uniquement dans le sens qui stimule le neurone H1 long de sa direction préférée. Stimulation des résultats neurone H1 dans le robot pour compenser le mouvement de la table tournante.
    
    
    Figure 1: configuration en boucle fermée. Dans notre configuration, l'activité de dopage de la cellule H1 gauche est utilisé pour contrôler le mouvement d'un robot monté sur une platine. Mouvement de l'image visuelle produite à la suite d'un mouvement relatif entre le robot et le tour de table est capturé par l'intermédiaire des caméras haute vitesse et affichés sur les moniteurs CRT deux à l'avant de la mouche. L'activité de dopage H1 de l'hémisphère gauche est utilisée pour estimer le taux en temps réel pic qui utilise alors une loi de commande pour calculer une vitesse de compensation pour le robot. Le robot contre-rotation stabilise le mouvement de l'image visuelle observée par la mouche au cours contrôle en boucle fermée.
    
    

4. Résultat Représentant et résultats

1. Lorsque correctement configuré, la stabilisation visuelle est atteinte lorsque le contre-rotation du robot correspond à la rotation de la table tournante, entraînant le déplacement peu ou pas de tendance sur les écrans d'ordinateur. La performance globale du système dépend de l'algorithme de contrôle utilisé pour fermer la boucle.
2. Le premier algorithme, nous testons est un régulateur proportionnel (figure 2) où la vitesse du robot à jour est proportionnelle à la différence de vitesses angulaires entre le robot, ωr, et le tour de table, ωp. Des valeurs différentes pour le gain statique, Kp, et des fréquences d'entrée pour le signal de tour par tour de table, ωp, sont choisis pour tester les performances du contrôleur.
   
   
   
   Figure 2: Régulateur proportionnel. (A) Le mouvement relatif entre le robot et le tour de table dans la direction préférée stimule la cellule H1 de donner le taux de pic, pic F. Ce taux est convertie en une erreur de vitesse, E, et un régulateur proportionnel est utilisé pour estimer la vitesse du robot à jour, vr (t +1). Le taux de pic, F, est converti à l'erreur de vitesse, E, basé sur s'il est inférieur ou supérieur au taux spontané pic, Fspont. Le taux de pic à la vitesse de conversion d'erreur se fait en projetant F sur un cosinus (intervalle [π, 0]) pour tenir compte des non-linéarités seuil du taux de dopage. Les constantes 70 et 150 sont utilisées pour correspondre à la vitesse d'entrée de 8 bits du robot pour les vitesses minimale et maximale angulaire de la table tournante. Schéma (b) montrant système en boucle fermée en utilisant un régulateur proportionnel. L'entrée du système est une modulation de la vitesse sinosuidal table tournante angulaire, ωp (t), et la réponse correspondante du robot ωr (t +1) est enregistrée.
   
   
3. Exemple de traces pour _p ω et _r ω sont présentés ici pour K _p = 1 et une fréquence d'entrée de 0,6 Hz pour _p ω (voir figure 3). Le robot (en vert) suit la table tournante (en bleu) avec un décalageet une petite pointe d'amplitude. La composante horizontale du mouvement modèle qui stimule la cellule H1 est indiqué ci-dessous (en rouge).
   
   
   
   Figure 3: Réponses en boucle fermée. (A) vitesses angulaires pour le tour de table (bleu), ωp, et le robot (vert), ωr, à la fréquence d'entrée = 0,6 Hz. (B) de flux optique horizontale est montré tel qu'il est calculé à partir d'images connecté (rouge). Lucas Kanade pyramidal méthode (3 niveaux de la pyramide) est utilisé pour calculer le champ de flux optique entre les images successives. Horizontal vitesse angulaire est calculé en additionnant les projections de vecteurs individuels dans les champs d'écoulement sur l'unité horizontale vecteur i. Horizontal dos-à-face qui excite le mouvement de la cellule H1 est appelée PD (direction privilégiée) tout en devant horizontale-à-dos le mouvement qui inhibe la cellule H1 est appelée ND (direction null).
   
   
4. Fréquences d'entrée pour le signal de tour par tour de table, ωp, sont choisis entre 0,03 à 3 Hz et le signal du robot correspondant, ωr, est enregistrée. Les deux signaux sont transformés dans le domaine fréquentiel par une transformée de Fourier rapide (voir figure 4) et les valeurs d'amplitude et de phase sont calculés à la fréquence d'entrée.
   
   
   
   Figure 4: Réponse en fréquence des signaux de vitesse angulaire pour le tour de table, ωp, et le robot, ωr, sont transformées dans le domaine fréquentiel en utilisant les transformation de Fourier rapide (FFT) pour calculer l'amplitude et de composants phase à la fréquence d'entrée.. Composants de la phase de la FFT ne sont pas représentés dans la figure.
   
   
5. Le diagramme de Bode grandeur pour le régulateur proportionnel avec K _p = 1 montre la réponse du système au cours des fréquences d'entrée testé (voir figure 5-a). Les performances du contrôleur diminue généralement avec l'augmentation des fréquences. Le gain a légèrement augmenté à 1 Hz est le résultat d'oscillations dans le signal du robot en raison de l'aide un seul H1-cellulaire dont la dynamique (de sortie) gamme couvre principalement horizontale le mouvement de retour à l'avant.
   
   
   
   Figure 5: les performances du contrôleur proportionnel. Les diagrammes de Bode amplitude et la phase pour le régulateur proportionnel (en moyenne plus de 8 mouches), gain statique Kp = 1,0 (a) le diagramme de Bode amplitude suit approximativement une caractéristique filtre passe-bas. Le gain a légèrement augmenté à 1 Hz est le résultat d'oscillations dans le signal du robot, ωr, en raison de l'aide un seul H1-cellulaire dont la dynamique (de sortie) gamme couvre principalement horizontale revenir à la motion avant. Le nombre d'oscillations dans le signal du robot, ωr, diminue avec l'augmentation des fréquences d'entrée menant à gagner légèrement augmenté à ces fréquences. (B) le diagramme de Bode de phase est inférieure à 180 ° pour des fréquences d'entrée ≤ 1 Hz et à l'instabilité des approches à 3 Hz. Au delà d'une fréquence d'entrée, le régulateur devient instable à cause de la cinématique du robot. Cette instabilité se produit seulement au-delà de la gamme de réponse optimale connue du système de volée visuelle (Warzecha et al. 1999).
   
   
6. L'intrigue phase de Bode (voir figure 5-b) montre une phase de latence du contrôleur inférieur Π pour des fréquences d'entrée <0,6 Hz. Cela montre que le contrôleur est stable pour des fréquences <0,6 Hz et instable pour des fréquences d'entrée ≥ 1 Hz.
7. La performance du régulateur proportionnel avec un Kp statique (en bleu) a été comparé avec un contrôleur adaptatif (en rouge), où la valeur de K _p est mis à jour toutes les 50 ms sur la base des taux de crête pic, C _max, calculé sur l'intervalle de temps [t-500ms - t] (voir figure 6). En conséquence de la fenêtre de temps d'intégration de grandes, le régulateur proportionnel est plus performant que le contrôleur adaptatif pour la gamme de paramètres testés (voir la figure 7-a). La fenêtre de temps initial d'intégration de 500 ms a été choisi pour des raisons techniques liées à la plateforme de robot que nous utilisons. Le contrôleur adaptatif avait une caractéristique de phase similaire à celle du régulateur proportionnel (voir figure 7-b).
   
   
   
   Figure 6: gain du régulateur adaptatif. Le régulateur proportionnel utilise un gain statique, Kp, alors que le contrôleur adaptatif estimations du gain en continu pendant le contrôle en boucle fermée. Le gain dynamique, Kp, est inversement proportionnelle à la vitesse maximale pointe, Fmax, sur l'intervalle t-500ms ≤ τ ≤ t. La figure montre trois cas où Fmax est estimé au cours du temps. Basé sur des valeurs estimées de Fmax, Kp est plus élevé pendant fenêtre de temps 2 (vert) et le plus bas pendant 3 fenêtre de temps (en orange).
   
   
   
   Figure 7: Régulateur proportionnel vs adaptative. Bode amplitude et la phase de la proportionnelle (Kp = 1) et adaptative de contrôleur(A) les mises à jour contrôleur adaptatif de la valeur de Kp toutes les 50 ms sur la base des Fmax pic de pic estimation du taux au cours de la dernière 500ms. L'intrigue régulateur proportionnel de gain (en bleu) est plus élevé que celui du contrôleur adaptatif (rouge) indiquant qu'il est plus performant à toutes les fréquences d'entrée. (B) les diagrammes de Bode de phase pour les deux contrôleurs sont similaires avec une différence significative à f = 0,3 Hz. Les deux contrôleurs d'approche d'instabilité, de 3 Hz. Significativement différent des valeurs de gain et de phase sont indiqués par un astérisque (méthode Wilcoxon, p = 0,05).
   
   
8. Le modèle de grille autour de la table tournante a été enlevé et l'environnement de laboratoire a été utilisé comme une approximation de l'entrée visuelle naturalistes pour la mouche H1-cellulaire. En moyenne, le diagramme de Bode ampleur (voir figure 8-a) pour l'entrée naturalistes visuelle (en bleu) ont montré des gains légèrement supérieur à la une avec entrée caillebotis visuel (en rouge), probablement parce que la plus large gamme de fréquences spatiales au naturaliste des images visuelles est exploitée. Les caractéristiques Bode de phase pour caillebotis vs naturalistes stimuli visuels étaient similaires (voir figure 8-b).
   
   
   
   Figure 8: Stripped pattern vs environnement de laboratoire. L'ampleur et Bode parcelles de phase pour le régulateur proportionnel lorsqu'ils sont présentés avec des modèles dépouillés (rouge) vs laboratoire de l'environnement (en bleu) des images visuelles dans boucle fermée (a) le diagramme de Bode grandeur lorsque les images sont utilisées environnement de laboratoire est légèrement plus élevé que lorsque modèle dépouillé est utilisé (sauf à f = 0,1 Hz) indiquant de meilleures performances sous stimulus tel. (B) le diagramme de Bode de phase sous deux conditions visuelles suivent le même schéma, avec les deux instabilité approchant à 3 Hz. Significativement différent des valeurs de gain et de phase sont indiqués par un astérisque (méthode Wilcoxon, p = 0,05).
   
   

Discussion

1. Volez la dissection doit être effectuée avec soin de s'assurer que nous orienter correctement la volée à l'égard des moniteurs d'ordinateur.
2. Séparer les pointes du neurone H1 à partir des pointes de tous les autres neurones pour obtenir un bon signal sur bruit, qui peut ensuite être utilisé pour contrôler le robot de manière fiable.
3. Des précautions doivent être prises pour éviter toute tissu neural de sécher le cours de l'expérience.
4. Les caméras sont reliées à des ordinateurs avec un câble Ethernet. Des précautions doivent être prises pour qu'ils ne soient pas trop plaie pendant l'expérience comme susceptible d'affecter la rotation du robot.
5. Actuellement, nous utilisons l'activité d'un pic de H1 à l'installation d'une tâche de stabilisation dans un seul sens de rotation de lacet. Nous pouvons ajouter une deuxième électrode pour capter les signaux de H1 à la fois gauche et droite de sorte que nous pouvons étudier les algorithmes de contrôle de stabilisation dans les deux sens de rotation de lacet.
6. Nous pouvons supprimer l'arène contenant les bandes orientés verticalement en noir et blanc et d'utiliser l'environnement de laboratoire que le stimulus visuel de la mouche. Cela nous permettra d'étudier les performances en boucle fermée avec des images naturalistes.
7. Le robot peut être retiré de la table tournante et autorisés à se déplacer autour de l'environnement de laboratoire tout en contrôle en boucle fermée. Cela nous permettra d'étudier les algorithmes de contrôle impliqués dans l'évitement des collisions.
8. Les fils reliant les caméras pour les ordinateurs peuvent être éliminées par la mise en œuvre d'un système de transmission sans fil, nous donnant une configuration totalement débridée robotique.
9. Les mesures de la performance des algorithmes de contrôle différents va nous donner une compréhension de la façon dont différentes stratégies sont en mesure de faire face aux non-stationnaires et variable des signaux neuronaux. Cette connaissance peut ensuite être appliqué à différentes cliniques et non cliniques interfaces cerveau-machine.
10. Cette configuration expérimentale est la première étape vers l'enregistrement de signaux neuronaux de se comporter des animaux. Notre objectif est de placer à la volée sur le robot et l'utilisation de son activité de neurones pour contrôle en boucle fermée. Dans une telle configuration, nous serions en mesure d'enregistrer l'activité neuronale de la mouche alors qu'elle est la stimulation multisensorielle reçoit comme un résultat du mouvement du robot.
11. Enregistrer des signaux que d'une cellule. Dans la configuration que nous devrions vous, la cellule la plus appropriée serait le H1-cellulaire. Isoler les réponses du neurone H1 d'autres neurones avec des champs récepteurs similaires, par exemple H2, est important pour maintenir un bon signal sur bruit pour les enregistrements de neurones. Les réponses des H1 et H2 neurones peut être discriminé en notant que le H2 a caractéristiquement inférieurs spontanée et du taux moyen de dopage que le neurone H1. Les neurones peuvent également être victimes de discrimination sur la base de leur morphologie (Krapp et al. 2001).
12. Notre système nous permet de comparer le gain en boucle fermée obtenue par notre mouche-robot d'interface sur une tâche de stabilisation d'image, et de comparer ses performances avec des gains en boucle fermée optomoteur observé dans les expériences précédentes sur les mouches (Bender & Dickinson 2006, Warzecha et al . 1996, Heisenberg & Wolf, 1990). En outre, elle nous permet d'étudier l'état-dépendant des changements dans le traitement des informations visuelles en boucle fermée des conditions (Chiappe et al. 2010, Maimon et al. 2010, Longden & Krapp 2009, Longden & Krapp 2010).

matériels