Uma Plataforma Experimental para Estudo de Desempenho de circuito fechado de interfaces cérebro-máquina

Resumo

Nós usamos um circuito fechado de interface fly-máquina para investigar os princípios gerais no controle neuronal.

Resumo

A natureza não-estacionária e variabilidade de sinais neuronais é um problema fundamental na interface cérebro-máquina. Nós desenvolvemos uma interface cérebro-máquina para avaliar a robustez de diferentes leis de controle aplicado a uma tarefa de estabilização de circuito fechado de imagem. Aproveitando o bem caracterizados voar via visuomotoras que registrar a atividade elétrica de um identificadas, neurônio sensível ao movimento, H1, para controlar a rotação de guinada de um robô de duas rodas. O robô é equipado com duas câmeras de vídeo de alta velocidade proporcionando movimento visual de entrada a uma mosca colocado na frente de dois monitores de computador CRT. A atividade do neurônio H1 indica a direção e velocidade relativa de rotação do robô. A atividade neural é filtrada e alimentado de volta para o sistema de direção do robô através de um controlo proporcional e proporcional / adaptativa. Nosso objetivo é testar e otimizar o desempenho de diversas leis de controle em malha fechada condições para uma aplicação mais ampla também em interfaces de outra máquina cerebral.

Protocolo

1. Fly Preparação

1. O primeiro passo na criação de experimentos envolve a preparação da mosca para que não corrompe o movimento involuntário da estabilidade das gravações neuronal e que a cabeça da mosca é corretamente orientado com o equipamento de estimulação visual. Para começar a preparar a voar, resfriá-lo em gelo e em seguida, usar palitos cocktail embotados para segurar as asas para baixo, e fixar a parte de trás do fly a um pedaço de fita dupla-face-numa lâmina de microscópio.
2. Em seguida, use uma agulha de eletro-cauterização para aplicar cera de abelha para fixar as asas para o slide e também para bloquear a ação do motor de vôo. Esta etapa requer a manipulação rápida e precisa para que a mosca não se aquece durante o procedimento.
3. Agora sob o microscópio, segure cada perna com uma pinça e usar uma tesoura pequena para cortá-los ao nível das articulações mais próxima ao corpo. Repita este procedimento para a probóscide. Para evitar que a mosca de secar, os buracos devem ser seladas com cera.
4. Em seguida, cortar uma das asas e ligue a mosca em seu lado. Retire todos os pedaços da asa, deixando o calyptra cobrindo os halteres, e selar o buraco com cera. Repita este procedimento para a outra ala.
5. Para estimular um neurônio alvo de uma forma definida, a cabeça da mosca tem de ser devidamente alinhados com os monitores de computador. Para fazer isso, você precisará de um suporte personalizado, que tem um amplo espaço para o corpo da mosca e um apêndice em uma extremidade com um corte de entalhe, onde o pescoço da mosca será colocado.
6. Coloque a voar para o titular com seu pescoço no entalhe, pressionando-a para baixo, enquanto a colagem do abdômen no lugar. Agora coloque o titular voar em uma posição para que você possa ver a frente da cabeça da mosca através do microscópio.
7. Vendo a voar com luz vermelha, um fenômeno óptico chamado de pseudo-aluno pode ser visto em cada olho. O aluno pseudo-fornece um quadro de referência que pode ser usado para alinhar a cabeça da mosca com o estímulo (Franceschini, 1975). Se o aluno pseudo-assume uma certa forma, como mostra a imagem abaixo inserir, então a orientação da cabeça da mosca é perfeitamente definida.
   
   
   
8. Use um micromanipulador para orientar corretamente a cabeça da mosca, e depois usar a cera para colá-la ao titular.
9. Em seguida, pressione o tórax para baixo plana e encerá-lo ao titular. Isto permite que a cápsula de cabeça traseiros para ser aberto assim que os eletrodos podem ser inseridos no cérebro da mosca.
10. Use um bisturi micro ou uma agulha fina para injecção de corte cuidadosamente uma janela para a cutícula da cápsula direita da cabeça. Tenha cuidado para não cortar a direito por baixo do tecido neural cutícula. Uma vez que o pedaço de cutícula é removida, adicione algumas gotas de solução de Ringer.
11. Use uma pinça para remover todos os cabelos flutuantes, depósitos de gordura, ou tecido muscular que possa cobrir a placa lobula. A placa lobula podem ser identificadas por um padrão característico de ramificação da traquéia prateada que cobre a sua superfície posterior.
12. Corte um pequeno buraco na cutícula da cápsula cabeça traseiro esquerdo para posicionar um eletrodo de referência. Com a mosca preparado, vamos ver como a posição do eletrodo de registro.

2. Posicionamento do eletrodo de registro

1. Com a mosca preparado, vamos proceder à localização e gravação de sinais do neurônio H1. O eletrodo de registro devem ser colocados em estreita proximidade com o neurônio H1. O neurônio H1 principalmente responde ao movimento de trás para frente horizontal apresentada ao seu campo receptivo (Krapp et al. 2001).
2. Para posicionar o eletrodo de registro, use a traquéia como um marco visual. Inicialmente, coloque o eletrodo entre a traquéia superior.
3. Ele ajuda para usar um amplificador de áudio para converter os potenciais registrados elétricos em sinais acústicos. Cada ponto individual é transformado em um som característico clicando. Quanto mais próximo o eletrodo fica a um neurônio individual, mais claro se torna o som de clique.
4. Para identificar o neurônio H1 por meio de sua preferência movimento, estimulá-lo com o movimento na direção horizontal. Com o eletrodo de registro no lugar, vamos passar à estimulação visual e gravações.

3. Estimulação Visual e Gravações

1. Os experimentos em malha fechada são configurados de tal forma que tal estímulo que os resultados dos neurônios H1 no robô para compensar o movimento da virada de mesa. Para começar, coloque uma mosca na frente de dois monitores de computador CRT. Porque o sistema fly visual é 10 vezes mais rápido do que o ser humano, os monitores devem exibir 200 frames por segundo. Os monitores e outros equipamentos elétricos devem ser eletromagneticamente blindado para minimizar o ruído externo no sinal medido neuronal.
2. Posição dos centros dos monitores em + / - 45 graus em relação à orientação da mosca. Como visto do equador da mosca olho, cada monitor subtende um ângulo de + / -25 graus na horizontal, e +/ -19 Graus no plano vertical.
3. Entrada sincronizados com os monitores de computador é fornecido por duas câmeras de vídeo instaladas em um pequeno robô ASURO de duas rodas que foi modificado para o experimento.
4. A posição do robô em uma mesa giratória dentro de uma área cilíndrica cujas paredes são revestidas com um padrão de orientação vertical, listras pretas e brancas. Ao girar a virada de mesa no plano horizontal, os movimentos do robô são limitados a apenas um grau de liberdade.
5. Inicialmente, tanto a virada de mesa e robô estão em repouso. Quando a virada de mesa começa a se mover, sua rotação leva o robô, na mesma direção e as câmeras de vídeo gravar o movimento relativo entre o robô eo padrão listrado da arena.
6. As câmeras com bateria de vídeo do robô são montados em uma orientação de + / - 45 graus. Eles capturam 200 imagens por segundo para coincidir com a taxa de quadros dos monitores de computador em frente ao voar.
7. Log as imagens apresentadas aos monitores de computador a 200 frames por segundo em uma resolução de 640 x 480 (escala de cinza).
8. Enquanto a mosca é observando os movimentos do padrão listrado, gravar a banda passou filtrada (por exemplo, entre 300 e 2 kHz) sinais elétricos com uma placa de aquisição de Digital usando uma taxa de amostragem de pelo menos 10 kHz.
9. Um limiar é aplicado à banda passou filtrada sinais elétricos para separar os picos da atividade de fundo. A causal, meia-gaussian do filtro é convolvidos com os pontos para obter uma estimativa atividade suave spiking para a célula H1.
10. Para fechar o ciclo da interface cérebro-máquina, um algoritmo de controle é usado para converter a taxa de pico da célula H1 a uma velocidade do robô, que é alimentada de volta através de uma interface Bluetooth para controlar os dois motores DC condução das rodas do robô.
11. Ondas senoidais puras são escolhidos como perfis de velocidade para a virada de mesa. As ondas senoidais tem um tal de CC que a virada de mesa apenas gira na direção que estimula o neurônio H1 ao longo de sua direção preferida. Estimulação dos resultados neurônio H1 no robô para compensar o movimento da virada de mesa.
    
    
    Figura 1: Configuração do circuito fechado. Em nossa configuração, a atividade spiking da célula H1 esquerdo é usado para controlar o movimento de um robô montado sobre uma plataforma giratória. Movimento imagem visual gerada como resultado do movimento relativo entre o robô e da virada de mesa é capturado através de câmeras de alta velocidade e exibidos em dois monitores CRT em frente ao voar. H1 spiking atividade do hemisfério esquerdo é usado para estimar o tempo real taxa de pico, que então usa uma lei de controle para calcular uma velocidade de compensação para o robô. O robô contra-rotação estabiliza a imagem visual de movimento observado pela mosca durante o controle de malha fechada.
    
    

4. Resultado representante e Resultados

1. Quando configurado corretamente, a estabilização visual é alcançado quando o contra-rotação do robô corresponde a rotação da mesa giratória, resultando em movimento padrão de pouca ou nenhuma nos monitores de computador. O desempenho global do sistema depende do algoritmo de controle a ser utilizado para fechar o loop.
2. O primeiro algoritmo que teste é um controlador proporcional (figura 2) onde a velocidade do robô atualizado é proporcional à diferença de velocidades angulares entre o robô, ωr, e na virada de mesa, ωp. Valores diferentes para o ganho estático, Kp, e freqüências de entrada para o sinal da volta de mesa, ωp, são escolhidos para testar o desempenho do controlador.
   
   
   
   Figura 2: Controlador Proporcional. (A) de movimento relativo entre o robô e da virada de mesa na direção preferiu estimula a célula H1 para dar a taxa de pico, taxa de F. Este ponto é convertido em um erro de velocidade, E, e um controlador proporcional é utilizado para estimar o velocidade do robô atualizado, vr (t +1). A taxa de pico, F, é convertido para o erro de velocidade, E, com base em se é menor ou maior do que a taxa de aumento espontâneo, Fspont. A taxa de pico de velocidade de conversão de erro é feita pela projeção F ao longo de um co-seno (intervalo [π, 0]) para dar conta spiking não-linearidades limiar de taxa. As constantes de 70 e 150 são usados ​​para combinar a velocidade de entrada de 8 bits do robô para as velocidades mínimas e máximas angular da virada de mesa. (B) Diagrama de blocos mostrando closed-loop sistema usando um controlador proporcional. A entrada para o sistema é uma modulação sinosuidal da velocidade giratória angular, ωp (t), ea correspondente resposta robô ωr (t +1) é registrado.
   
   
3. Traços de amostra para _p ω e ω _r são mostrados aqui para K _p = 1 e uma frequência de entrada de 0,6 Hz para _p ω (ver figura 3). O robô (em verde) segue a virada de mesa (em azul) com uma defasageme um pequeno pico de amplitude. O componente horizontal do movimento padrão, que estimula a célula H1 é mostrado abaixo (em vermelho).
   
   
   
   Figura 3: respostas em malha fechada. (A) as velocidades angulares para a virada de mesa (azul), ωp e robot (verde), ωr, na freqüência de entrada = 0,6 Hz. (B) o fluxo óptico Horizontal é mostrado como calculados a partir de imagens registradas (vermelho). Piramidal Lucas método Kanade (3 níveis da pirâmide) é usado para calcular o campo de fluxo óptico entre os quadros de imagem sucessivas. Velocidade angular horizontal é calculada somando-se as projeções de vetores individuais nos domínios do fluxo sobre a unidade horizontal vetor i. Movimento back-to-front horizontal que excita a célula H1 é referido como PD (direção preferencial), enquanto o movimento de frente para trás-horizontal que inibe a célula H1 é referido como ND (direção null).
   
   
4. Freqüências de entrada para o sinal da volta de mesa, ωp, são escolhidos entre 0,03-3 Hz eo sinal de robô correspondente, ωr, é gravado. Ambos os sinais são transformados em domínio da freqüência por uma Transformada Rápida de Fourier (ver figura 4) e os valores de amplitude e fase são calculados na freqüência de entrada.
   
   
   
   Figura 4: Resposta de freqüência de sinais de velocidade angular para a virada de mesa, ωp e robô, ωr, transformam-se em domínio da freqüência usando a Transformada Rápida de Fourier método (FFT) para calcular a amplitude ea fase de componentes na freqüência de entrada.. Componentes fase da FFT não são mostrados na figura.
   
   
5. O Bode magnitude para o controlador proporcional com K _p = 1 mostra a resposta do sistema sobre as freqüências de entrada testados (ver figura 5-a). O desempenho do controlador geralmente diminui com o aumento de freqüências. O ganho ligeiro aumento de 1 Hz é o resultado de oscilações no sinal de robô, devido ao uso de apenas uma célula H1, cuja dinâmica (output) faixa horizontal abrange principalmente o movimento back-to-front.
   
   
   
   Figura 5: desempenho do controlador proporcional. O Bode de magnitude e fase para o controlador proporcional (média de mais de 8 moscas), ganho estático Kp = 1,0 (a) o lote do bode magnitude segue aproximadamente uma característica de filtro passa-baixa. O ganho ligeiro aumento de 1 Hz é o resultado de oscilações no sinal de robô, ωr, devido ao uso de apenas uma célula H1, cuja dinâmica (output) faixa horizontal abrange principalmente o movimento de volta para frente. O número de oscilações no sinal de robô, ωr, diminuição com freqüências de entrada aumentando levando ao ganho ligeiro aumento nessas freqüências. (B) curva de Bode fase é inferior a 180 ° para freqüências de entrada ≤ 1 Hz e instabilidade abordagens a 3 Hz. Além de uma certa freqüência de entrada, o controlador torna-se instável devido à cinemática do robô. Esta instabilidade só ocorre fora do alcance conhecido de resposta óptima do sistema fly visual (Warzecha et al. 1999).
   
   
6. O enredo fase de Bode (ver figura 5-b) mostra uma fase lag controlador de menos de Π para freqüências de entrada
7. O desempenho do controlador proporcional com um Kp estática (em azul) foi comparado com um controlador adaptativo (em vermelho), onde o valor de K _p é atualizado a cada 50 ms com base na taxa de pico pico, F _max, calculados sobre intervalo de tempo [t-500ms - t] (ver figura 6). Como resultado da grande janela integração no tempo, o controlador proporcional tem um desempenho melhor do que o controlador adaptativo para a gama de parâmetros testados (ver figura 7-a). A janela inicial de integração de tempo de 500 ms foi escolhido por razões técnicas relacionadas com a plataforma do robô que estamos usando. O controlador adaptativo tinha uma característica fase semelhante como o controlador proporcional (ver figura 7-b).
   
   
   
   Figura 6: Adaptive ganho do controlador. O controlador proporcional usa um ganho estático, Kp, enquanto que o controlador adaptativo estima o ganho de forma contínua durante o controle de loop fechado. O ganho dinâmico, Kp, é inversamente proporcional à taxa de pico máximo, Fmax, durante o intervalo t-500ms ≤ τ ≤ t. Figura mostra três casos em que Fmax é estimada ao longo do tempo. Com base em valores estimados de Fmax, Kp é maior durante a janela de tempo de 2 (verde) e mais baixa durante a janela de tempo 3 (laranja).
   
   
   
   Figura 7: controlador Proporcional vs adaptativa. Bode de magnitude e fase para a proporcional (Kp = 1) e um controlador adaptativo(A) as atualizações de controlador adaptativo o valor de Kp cada 50ms com base no pico de Fmax estimar a taxa de aumento ao longo dos últimos 500ms. O enredo ganho proporcional do controlador (azul) é maior do que o controlador adaptativo (vermelho) indicando que é um desempenho melhor em todas as freqüências de entrada. (B) o Bode fase para ambos os controladores são semelhantes, com uma diferença significativa na f = 0,3 Hz. Ambos os controladores abordagem instabilidade em 3 Hz. Valores significativamente diferentes de ganho e fase são indicados por um asterisco (Wilcoxon rank sum método, p = 0,05).
   
   
8. O padrão de grade ao redor da plataforma giratória foi removido eo ambiente de laboratório foi utilizado como uma aproximação da entrada visual naturalista para a mosca H1 célula. Em média, o Bode magnitude (ver figura 8-a) para a entrada naturalista visual (em azul) mostraram ganhos ligeiramente maior que a de entrada com grade visual (em vermelho), provavelmente porque a ampla gama de freqüências espaciais em imagens visuais naturalistas é explorado. O Bode características de fase enredo para ralar vs naturalista inputs visuais foram semelhantes (ver figura 8-b).
   
   
   
   Figura 8: Stripped padrão versus ambiente de laboratório. O Bode de magnitude e fase de parcelas para o controlador proporcional, quando apresentados com os padrões despojado (vermelho) vs ambiente de laboratório (azul) imagens visuais em circuito fechado (a) curva de Bode magnitude de quando as imagens ambiente de laboratório são usados ​​é marginalmente mais elevado do que quando pattern é utilizado (exceto em f = 0,1 Hz), indicando melhor desempenho sob tal estímulo. (B) curva de Bode fase em ambas as condições visuais seguem o mesmo padrão, com tanto a instabilidade aproximando-se a 3 Hz. Valores significativamente diferentes de ganho e fase são indicados por um asterisco (Wilcoxon rank sum método, p = 0,05).
   
   

Discussão

1. Fly dissecção precisa ser realizada com cuidado certificando-se que orientar corretamente a voar com relação à monitores de computador.
2. Separar os picos do neurônio H1 das espigas de todos os outros neurônios para conseguir um bom sinal-ruído, que pode então ser usado para controlar o robô de forma confiável.
3. Cuidados devem ser tomados para evitar qualquer tipo de tecido neural de secar durante o curso do experimento.
4. As câmeras são conectadas a computadores usando um cabo Ethernet. Cuidados devem ser tomados para que eles não estão sobre-ferida durante o experimento como que afetaria a rotação do robô.
5. Atualmente estamos usando o pico de atividade de um H1 para configurar uma tarefa de estabilização em apenas um sentido de rotação de guinada. Podemos acrescentar um segundo eletrodo para receber sinais de H1 esquerdo e direito, de modo que podemos estudar algoritmos de controle de estabilização em ambas as direções de rotação de guinada.
6. Podemos remover a arena contendo as listras na vertical orientada a preto e branco e usar o ambiente de laboratório como o estímulo visual para a mosca. Isto nos permitirá estudar de circuito fechado de desempenho com imagens naturalista.
7. O robô pode ser removido da mesa giratória e autorizados a circular em torno do ambiente de laboratório, enquanto no controle de malha fechada. Isso irá nos permitir investigar algoritmos de controle envolvidos na prevenção de colisões.
8. Os fios que conectam as câmeras para os computadores podem ser removidos através da implementação de um sistema de transmissão sem fio, dando-nos uma configuração completamente desenfreada robótico.
9. As medidas de desempenho dos algoritmos de controle diferentes nos dará uma compreensão de como diferentes estratégias são capazes de lidar com não-estacionárias e variáveis ​​sinais neuronais. Este conhecimento pode ser aplicado a diferentes clínicos e não clínicos interfaces cérebro-máquina.
10. Esta configuração experimental é o primeiro passo para a gravação de sinais neuronais de animais se comportando. Nosso objetivo é colocar a mosca no robô e usar sua atividade neural para controle de malha fechada. Em tal configuração, que seria capaz de gravar a atividade neural da mosca enquanto ele recebe a estimulação multisensorial é como um resultado do movimento do robô.
11. Registro somente sinais de uma célula. Na configuração que você deve, a célula mais adequada seria a célula H1. Isolando as respostas dos neurônios H1 de outros neurônios com campos receptivos similares, por exemplo, H2, é importante manter um bom sinal-ruído para as gravações neuronal. As respostas dos neurônios H1 e H2 pode ser discriminado por referir que o H2 é caracteristicamente menor espontânea e taxa média de spiking que o neurônio H1. Os neurônios também pode ser discriminado com base na sua morfologia (Krapp et al. 2001).
12. O nosso sistema permite-nos comparar o ganho de malha fechada alcançado por nossa interface robô-mosca em uma tarefa de estabilização de imagem, e comparar seu desempenho com os ganhos de malha fechada optomotor observado em experimentos anteriores em moscas (Bender & Dickinson 2006, Warzecha et al . 1996, Heisenberg & Wolf, 1990). Além disso, ele nos permite investigar estado-dependente mudanças no processamento de informação visual sob condições de circuito fechado (Chiappe et al. 2010, Maimon et al. 2010, Longden & Krapp 2009, Longden & Krapp 2010).

Materiais