Experimentos Neuro-robótica de circuito cerrado para comprobar propiedades computacionales de Redes Neuronales

Resumen

In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.

Resumen

Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.

Introducción

Muchas de las características de la función cerebral son actualmente imposibles de reproducir en un sistema artificial. La capacidad del cerebro para procesar rápidamente la información sensorial compleja y generar, en respuesta, órdenes motoras precisas es por sí misma ya más allá del estado-de-la-arte actual. Pero su capacidad de adaptarse a las diferentes condiciones de aprender de la experiencia pasada hace tan inmensamente superior a los sistemas de control de humanos-desarrollado. Hasta ahora, los intentos de reproducir o explotar esta plasticidad se han reunido poco éxito, y la comprensión de los mecanismos internos del cerebro ha eludido al alcance de los investigadores. Uno de los temas principales durante la investigación de la relación entre el cerebro y el comportamiento es la incapacidad para acceder correctamente todas las variables del sistema: idealmente, un montaje experimental óptima sería permitir la grabación y la estimulación simultánea de un gran número de neuronas, la estabilidad a largo plazo , el seguimiento de sinapsis posiciones y pesos, y controlable bi-directional interacción con el medio ambiente. La dificultad en el seguimiento de todas esas variables simultáneamente llevó al estudio de la relación cerebro-comportamiento en dos escalas muy diferentes: ya sea con comportarse animales, sin control fino sobre las condiciones experimentales ^1-7 o con partes pequeñas y aisladas, tales como porciones de tejido neuronal, sin visión de conjunto del sistema ^8. En este último caso, si bien ninguna configuración experimental ideado permite el seguimiento completo de todos los parámetros que intervienen en el funcionamiento de incluso una simple red neuronal, una buena compensación es proporcionada por las neuronas disociadas crecido en microelectrodos Arrays (AMUMA) ^9. Esos dispositivos, nacidos a finales de los 70 de ^10, tienen varias ventajas sobre las técnicas de electrofisiología tradicionales: en primer lugar, la posibilidad de grabar y estimular una red neuronal en muchos lugares diferentes a la vez (por lo general 60 electrodos). Además, el acoplamiento de los AMA con células es casi no invasiva, Lo que permite la observación de la misma red durante largos períodos de tiempo, hasta varios meses ^11. Los efectos fisiológicos de la estimulación eléctrica en cultivos disociados se han estudiado ampliamente gracias a esos dispositivos, revelando que muchas propiedades observadas a escalas mayores (tales como, por ejemplo, la plasticidad y la memoria de sencillos procesos ^12-14) se conservan a pesar de la pérdida de la arquitectura. Durante el crecimiento del cultivo, las redes comienzan a mostrar la actividad espontánea en unos 7 días in vitro (DIV) ^15,16. Actividad de la red tiende a cambiar radicalmente con un mayor crecimiento; primera como picos individuales se reúnen en ráfagas (hacia el final de la segunda semana) ^17, más tarde a medida que cambia en un patrón altamente complejo de sincronizada, la red no periódica ráfagas ^18, que representa el estado de madurez de una red. Se ha sugerido ¹⁹ que este comportamiento sincrónico, algo similar a la observada en el registro in vivoIngs en animales para dormir, es causada por la falta de información sensorial.

Un enfoque diferente trató de obtener una mejor comprensión de la información de codificación ha sido tomada por la realización de experimentos de circuito cerrado, en el que se utilizaron diferentes tipos de señales para controlar la estimulación de la propia ^11,20-23 red neuronal. En estos experimentos, un agente externo capaz de interacción con el entorno se ha usado para generar la información sensorial se alimenta a la red neuronal, que, a su vez, produce los comandos de motor para un mecanismo efector. Esto permitió observaciones de cómo las propiedades dinámicas y adaptativas de los sistemas neuronales evolucionaron en respuesta a los cambios inducidos en el medio ambiente.

Una instalación para efectuar 'encarnaba neurofisiología "experimentos fue desarrollado, donde una plataforma con ruedas sensor (un robot físico o su modelo virtual) se mueve en una arena y sus perfiles de velocidad son determinados por la actividad de un neuronalsistema (es decir, una población de neuronas de rata en cultivo durante un MEA). El robot se caracteriza por los perfiles de velocidad de sus dos ruedas controladas de forma independiente y por las lecturas actuales de los sensores de distancia. La naturaleza exacta de los sensores de distancia no es relevante; pueden ser sensores ópticos o sensores de ultrasonido activa o pasiva. Es evidente que este problema no se aplica en el caso de los robots virtuales, en las que los sensores pueden ser diseñados con cualquier característica deseada.

En los experimentos descritos en el presente documento, el robot utilizado es siempre la aplicación virtual, con 6 sensores de distancia apuntando a 30 °, 60 ° y 90 ° desde el robot partida en ambas direcciones. La actividad de los tres sensores de izquierda y derecha se promedia y la actividad de la cultura biológica está impulsada por la información recogida por este tipo de 'super-sensors "(que se acaba de referir como sensores" correctas "en el resto de" izquierda "y de este trabajo). El protocol descrito en realidad puede ser aplicado a la robot físico con ajustes bastante menores. La información recogida por el robot (ya sea físico o virtual) se codifica en una serie de estímulos que se utilizan para manipular la actividad de la red neural biológica, que está separada físicamente por el robot. Los estímulos en sí son todos idénticos y por lo tanto no codifican ninguna información. Lo relevante es su frecuencia: aumentos de las tasas de estimulación cuando el robot se acerca a un obstáculo, con diferentes centros de prestación de codificación de la información sensorial de los 'ojos' de izquierda y derecha del robot. La red neuronal se presentan diferentes respuestas al tren entrante de estímulos: la tarea del algoritmo de decodificación es traducir la actividad de la red resultante en comandos utilizados para controlar las ruedas del robot. Dado un comportamiento de la red 'perfecto' (es decir, con el fiable y totalmente separado las respuestas a estímulos de diferentes electrodos), esto Result en el robot de conducción en su arena sin golpear ningún obstáculo. La mayoría de las redes presente un comportamiento muy diferentes de la idealidad, por lo tanto, se introduce un protocolo de aprendizaje sencilla: cuando se activa, la estimulación tetánica (breves períodos de estimulación de alta frecuencia, 20 Hz de estimulación durante 2 segundos, inspirado en los protocolos descritos en ^24,25) después de un colisión con un obstáculo se entrega. Si los resultados de la estimulación tetánica en un refuerzo local de la conectividad de red, esto se traducirá en un aumento progresivo de las capacidades de navegación del robot.

HyBrainWare2, una versión mejorada del software personalizado publicado en ^26, es la arquitectura de núcleo desarrollado para manejar el control de los diferentes dispositivos del sistema (estimulador, adquisición de datos, procesamiento y visualización, la comunicación robot o simulación). Este software ha sido desarrollado en nuestro laboratorio y está disponible gratuitamente bajo petición. Este software proporciona la interfaz conla tarjeta de adquisición de datos: una vez que el usuario inicia la adquisición de datos de la interfaz gráfica de usuario, el software controla la tarjeta de adquisición para iniciar el muestreo y la conversión A / D de los datos procedentes de los electrodos de registro. Estos datos pueden ser grabado, aparece la pantalla o analizado en tiempo real para detectar los puntos, de acuerdo con las opciones establecidas por el usuario (ver sección Procedimiento para más detalles). Además, en el software, la definición de codificación (traducción de la información sensorial en una estimulación eléctrica) y decodificación (traducción de actividad registrada en comandos de motor para el robot) algoritmos debe ser especificado. En particular, nuestra configuración es relativamente fácil de usar en comparación con sistemas similares diseñados en el pasado ^27, ya que casi todas las variables se puede acceder por el usuario justo antes de comenzar el experimento real, mientras que toda la información registrada se guarda automáticamente en un formato compatible con una caja de herramientas de análisis de datos neural ^28.

La sección siguiente procedimiento describe un experimento de aprendizaje sobre las culturas de hipocampo de rata disociada: todo el cultivo y los parámetros experimentales se proporcionan para esta preparación particular y pueden necesitar ser modificada si un sustrato biológico diferente se va a utilizar. Del mismo modo, el experimento descrito se aprovecha de la arquitectura de bucle cerrado para investigar el efecto de aprendizaje de la estimulación tetánica, pero la propia arquitectura es lo suficientemente flexible para ser utilizado en el estudio de las diferentes características de las redes neuronales disociadas. Las principales variantes del experimento propuesto se explican con más detalle en la sección de Discusión.

Protocolo

1. Preparación de cultivos neuronales durante un MEA

1. Placa cultivos neuronales en los chips de los AMUMA, como se describe ^29. La descripción de un procedimiento similar también se proporciona ⁹ y en la sección de Discusión.
2. Girar el sistema de calefacción MEA en 5-10 min antes de iniciar la grabación de minimizar el estrés térmico experimentado por las células: la temperatura objetivo fijado del controlador de temperatura a 37 ° C y encender la placa de calentamiento por debajo de la misma (proporcionado en más comercial MEA sistemas MEA) y, en su caso, una cubierta climatizada con el fin de reducir significativamente la evaporación.
3. Esterilizar tapas permeables a los gases antes de cada uso en un autoclave con húmedo-calor (30 min, 130 ° C). Para evitar la evaporación y evitar cambios en la osmolaridad, mantener los cultivos cubiertos con tapas durante la grabación.
4. Coloque el cultivo neuronal en el amplificador 30 min antes de iniciar realmente la grabación.
   NOTA: Simplemente moviendo las culturas del incubator al amplificador alterará significativamente la actividad espontánea durante una media hora. Durante este tiempo, la cultura media temperatura se estabilizará.
5. Si un circuito carbair está disponible, inicie la circulación de carbair (una mezcla de 5% de _CO2 y 95% de O ₂ + N ₂₎ para los experimentos de más de un par de horas: culturas requerirán que el fin de mantener tanto los niveles de oxígeno y pH estable.

2. Selección de los parámetros de grabación para la Adquisición MEA

1. Seleccione el ancho de banda del filtro de software para detectar picos (es decir, Multi-Unit Actividad - MUA) ^30: en forma RawDataDisplay marcar la casilla '300 Hz-3 kHz.
2. Iniciar la adquisición de datos: pulse el botón "Inicio" en la forma RawDataDisplay.
3. Ganancia Umbral para la detección de pico en el RawDataDisplay a 7.
   NOTA: En función de la especificidad / selectividad equilibrio deseado y en la adoptada detectaralgoritmo de iones, este umbral se puede ajustar entre 6 y 10 veces la desviación estándar calculada.
4. Ajuste de memoria Umbral a 2 segundos y pulse el botón 'Lock' cuando no hay actividad spiking es visible en la pantalla (ambos comandos son en forma RawDataDisplay). Marcar el 'estimar SD de mediana' para calcular la desviación estándar del ruido de la mediana del valor absoluto de la señal observada ^31,32, si es difícil proporcionar ventanas de tiempo incluso cortos sin actividad de clavar. Quite la marca de esta opción después de pulsar el botón 'Lock', como el algoritmo subyacente es computacionalmente intensivas y podría hacer que el PC se retrase.
5. Encienda rutina de detección de pico (casilla 'Detección Spike en forma RawDataDisplay). Si la detección de pico ya se está ejecutando (es decir, la casilla ya está marcada), deseche los picos detectados hasta el momento haciendo clic en el botón "Reset" en la forma de grabación de datos.

3. Selección de MEA electrodos para estimular la Computación Neuronal Cultura y Respuesta Mapa

1. Actividad espontánea Registro de las células neuronales cultivadas sobre la MEA durante 30 minutos: guardar los datos en archivo haciendo clic en el botón 'Record', en el cuadro de 'picos' de la forma DataRecording, una vez transcurrido el tiempo deseado (30 min, en este caso).
2. Identifique los 10 canales más activos (es decir, 10 canales con mayor recuento de pico), a continuación, seleccione los canales en cualquiera de los diseños de MEA (ya sea en la codificación, decodificación o Conexión Mapa formas) al arrastrar el cursor del ratón sobre las zonas deseadas. Una vez seleccionados los canales, haga clic derecho en cualquier lugar de la disposición MEA y seleccione "Añadir a la izquierda área sensorial" en el menú emergente: estos electrodos se utilizan para entregar la estimulación eléctrica en el paso 3.5.
3. Compruebe que estimulador y amplificador MEA están conectados correctamente: todas las configuraciones require dos hilos por canal de estimulación deseada, mientras que se requiere un cable coaxial adicional para llevar la señal de sincronía (por favor, consulte los manuales de los instrumentos específicos para diagramas de conexión). Proceda a continuación para activar el estimulador sobre.
4. Definir los parámetros de estímulo en forma de conexión de mapa. Todos los estímulos entregados a la cultura son las ondas de tensión cuadrada bifásica. Establecer media duración de 300 microsegundos y la amplitud de 1,5 V _pp ^33.
   NOTA: Los estímulos suficientemente grande como para evocar de forma fiable las respuestas neurales es muy probable que el compromiso del registro de la actividad de los mismos sitios. En el resto del artículo, electrodos utilizados para la entrega de estimulación no se debe elegir para el registro de toda la información pertinente.
5. Grabar respuesta a la estimulación: pulse el botón Inicio en la forma ConnectionMap. Una serie de estímulos 30, con un intervalo de 5 segundos, a su vez, entrega automáticamente a partir de cada uno de los electrodos seleccionados, mientras que las respuestas son de registroed a partir de los 59 electrodos restantes.
6. Calcular un mapa de conexión (es decir, la probabilidad de observar una respuesta de un electrodo dentro de un intervalo de tiempo después de la entrega de estímulo de un electrodo diferente) para cada canal de estimular a través de cualquier software matemáticas o SpyCode, una aplicación desarrollada en el pasado (y libremente disponibles a petición) para realizar cálculos en los datos neuronales ^28.
7. A partir de los mapas de conexión, seleccione mejores electrodos: descartar todos los electrodos de estimulación que no evocan respuestas (es decir, en la ventana de tiempo después de la estimulación, disparando las tasas no son significativamente más altos que durante el disparo espontáneo).
   1. Seleccione, entre los electrodos restantes, el par con el menor saltar por encima de las respuestas. Específicamente para cada electrodo de estimulación, calcular el recuento promedio de pico en cada electrodo de registro, a continuación, calcular la diferencia entre los electrodos correspondientes para todos los pares de electrodos de estimulación. Seleccione el par de which la suma de los valores absolutos de las diferencias de respuesta en todos los canales de grabación es más alto.
8. Seleccione uno de estos electrodos para codificar la información sensorial desde el lado izquierdo del robot y el otro para codificar las lecturas desde el lado derecho: para ello, arrastre el cursor del ratón sobre un electrodo, haga clic en el diseño MEA a continuación, seleccione "Añadir a la izquierda área sensorial" (o "Añadir a área sensorial derecha ').

4. Para conectar la cultura neuronal con el Robot: Selección de Codificación y decodificación de Esquemas

1. Set 'Tipo de la codificación "en la forma Codificación Lineal.
2. Definir tipos mínimos y máximos de estimulación en forma de codificación. Utilice el rango por defecto de 0,5 a 2 Hz.
3. Ajuste el parámetro "Jitter" en la forma Codificación a 0.
4. Establezca los parámetros del algoritmo de decodificación en el Formulario de decodificación (peso y coeficiente de extinción) a 1, para una cultura moderadamente activo (~ 1 pico / seg por alamel). Definir un nuevo par parámetro si las tasas de disparo fuerte y constantemente se desvían de este valor. Véase la discusión para la función exacta de los parámetros de decodificación.
5. Programe el algoritmo de decodificación de los parámetros de ráfaga en el Formulario de decodificación. Peso Se establece en 0 (tiempo de decaimiento es entonces irrelevante), a menos que la distinción entre los picos y ráfagas es objeto de estudio.
   NOTA: Los valores sugeridos en el paso 4.4 producirán movimientos del robot suaves y velocidades compatibles con los tiempos de reacción del robot para cultivos primarios de ratas moderadamente activas. Los parámetros de ráfaga tienen exactamente la misma función que las descritas en el paso 4.4, pero el evento de activación es la detección de una ráfaga en lugar de un pico: la velocidad real de cada rueda es simplemente la suma de las contribuciones de los picos y ráfagas detectados.

5. Diseño de la Navegación Arena para el Robot

1. En la forma Diseñador Arena virtual, elija entre delimitadas (los límites de la arena son visibles para el robot y impassable) o ilimitada (si el robot se sale de un lado de la arena, que al instante volver a entrar desde la opuesta) arena y establecer el tamaño de arena en píxeles.
   1. No utilice espacios acotados más pequeñas de 100 x 100 píxeles, con el fin de permitir el movimiento significativo. No utilice los obstáculos con un radio menor que 5 píxeles, ya que simplemente pueden caer entre las líneas de visión del robot.
   2. Tenga en cuenta que los tamaños muy grandes de la arena pueden causar el rendimiento del equipo para degradar: si se requiere un gran estadio, el rendimiento del software de prueba con la arena antes de comenzar la difíciles de repetir los experimentos.
2. Establecer robot posición ya sea iniciando manualmente (haga clic en el botón 'Selección manual "en la forma Diseñador Arena virtual, entonces la ubicación deseada) o mediante la especificación de las coordenadas del robot en el experimento comenzará en el' Robot Posición inicial" campos.
3. Añadir cualquier número de obstáculos infranqueables dentro de la arena. De cualquier colocarlos hombredualmente en la arena después de hacer clic en el botón "Añadir Obstáculo manual 'o fijar el número y el tamaño del rango.
4. Haga clic en el botón "Generar Arena 'para generar la arena con las características seleccionadas. No hay cambios ocurrirán hasta que se pulsa este botón.
5. Guarde la arena diseñado y cargar el archivo relativo, antes de su uso en un experimento, con los botones de comando en la parte inferior del formulario Diseñador Arena virtual.

6. Selección de electrodos MEA a Grabar la actividad neuronal de la Cultura

1. Seleccione electrodos temporales grabación aquellos en los que las diferentes respuestas, en el paso 3.8, se han observado: electrodos que mostraron respuestas más grandes después de la estimulación de la (o "derecho") Electrodo de "izquierda" constituirá la "izquierda" (o "derecho") electrodos de registro. No utilice electrodos que no mostraron respuestas significativas a cualquiera de electrodo de estimulación para controlar el robot. From el menú desplegable de presentaciones MEA, seleccionar "Añadir a la zona del motor izquierdo" (o "Añadir a la zona del motor derecho ') para definir electrodos de registro.
2. Seleccione las funciones para grabar en forma Experiment Manager. En esta etapa, los picos y los sellos de tiempo de estimulación son la única información relevante.
3. Realizar una prueba de conducción 10 min: iniciar el robot ejecute haciendo clic en el botón Start Experimento en forma Experiment Manager, haga clic de nuevo después de que hayan transcurrido 10 min.
   NOTA: Una vez que todos los parámetros se han establecido (codificación y decodificación, arena robot, estimulante y grabación de electrodos, cuenta para grabar), una selección de nombre de archivo le pedirá nombre grabado archivos y destino, entonces el robot comenzará a moverse en su ámbito, siguiendo las normas definidas. Todas las características seleccionadas se guardan automáticamente en tiempo real.
4. Repita los pasos 3.6 y 6.1 en los datos adquiridos en el paso 6.3, con el fin de seleccionar electrodos de registro de los datos recogidos durante una ejecución real del robot (ver discussion para la justificación de este enfoque en dos etapas).

7. Realización de un experimento de Neuro-robótica

1. Seleccione en el Administrador Experimento formar los datos a registrar: marcar el Spike, Robot y casillas de verificación de datos Los estímulos.
2. Lance un plazo robot pre-learning: haga clic en el botón "Iniciar Experimento 'en forma Experiment Manager. Seleccione nuevos nombres de archivo para los archivos de datos cuando se le solicite. Cuando hayan transcurrido 30 minutos, haga clic en el botón "Iniciar Experiment 'de nuevo para detener la ejecución robot.
3. Encienda el protocolo de aprendizaje (marcar la casilla de verificación 'Entregar tetánica Estimulación Después Hit' en forma Experiment Manager) y llevar a cabo la capacitación robot de ejecución, de la misma longitud que la fase de pre-entrenamiento (es decir, 30 min). Recuerde entrada diferentes nombres de archivo cuando se le pida para evitar sobrescribir los datos desde el paso 7.2.
4. Apague el protocolo de aprendizaje de nuevo (desmarcar la casilla de verificación 'Entregar tetánica Estimulación Después Hit') Y realizar la post-aprendizaje robot plazo. Una vez más, recuerde cambiar los nombres de archivo para evitar sobrescribir.

8. Segundo Mapa Respuesta Computación

1. Repita los pasos 3.1 a 3.6. Utilizar los datos de estas grabaciones para probar si los cambios han sido inducidos, ya sea en los patrones de actividad espontánea o evocada por el protocolo de aprendizaje.

Resultados

El marco experimental desarrollado permite la prueba de si es posible un intercambio de información entre un cultivo de neuronas y la realización virtual de un robot físico ^34. La Figura 1 muestra varias muestras de caminos obtenidos recorridas por un robot virtual en 20 min experimentos en diferentes condiciones : de izquierda a derecha un experimento adecuado de circuito cerrado, un "vacío MEA" experimento robot (no hay células se colocan en la MEA para este experimento de control) y un robot experimento en lazo abierto (tipo de estimulación es constante en lugar de codificar la información del sensor) están representados. Las trazas representativas confirman que una interacción bidireccional entre los elementos neuronales artificiales y es necesario a fin de obtener buenas actuaciones de navegación del robot. Sin embargo, el robot experimenta varios éxitos contra los obstáculos.

En la Figura 2, el rendimiento de navegación del robot, expressed como píxeles viajado entre éxitos posteriores, se muestra en diferentes condiciones. Las dos primeras columnas muestran la distribución de las distancias recorridas en los experimentos de control antes mencionadas ('MEA vacío' y las configuraciones de bucle abierto), mientras que la tercera y cuarta columnas muestran el rendimiento con y sin, respectivamente, el suministro de la estimulación tetánica después de cada chocó contra un obstáculo. La introducción de la estimulación tetánica (Cfr Procedimiento, punto 7.2) mejora significativamente la distancia recorrida entre dos hits consecutivos, lo que mejora las prestaciones de navegación del robot ^35.

En la Figura 3, se presenta el rendimiento de navegación de un robot con diferentes condiciones de descodificación. Con este fin, una configuración de arena diferente ha sido adoptada. Esto ayudó a cuantificar el éxito de navegación del robot dentro de la arena ^36: como se describe en el paso 4.1 del procedimiento, el robot espresentó una serie de pistas cortas. La tasa de éxito es simplemente la relación entre el número de pistas cruzadas con éxito más el número de pistas presentados. En particular, durante los experimentos se realizó una identificación en tiempo real de los picos de la explosión y aisladas. Los paradigmas de descodificación difieren entre sí debido a los pesos relativos de las ráfagas y picos aislados (Procedimiento Cf., señala 03/05 a 03/06 y Discusión).

Figura 1: Una red neuronal y un robot tienen un intercambio bidireccional de información Esta figura muestra tres caminos representativos viajado por el robot más de 20 minutos de experimento.. En particular, las áreas de color verde claro son libres para que el robot se mueva en, mientras oscuros píxeles verdes representan obstáculos infranqueables que el robot puede percibir a través de sus sensores de distancia. En cada ensayo, el robot comienza in la sección izquierda superior de la arena y se desplaza a su posición final, representado como un gran punto rosa. Los puntos negros representan más pequeños golpes contra un obstáculo, mientras que el camino codificado por colores proporciona una indicación de la evolución temporal del movimiento del robot. La barra de color a la derecha expresa el tiempo transcurrido desde el inicio del experimento en minutos. (A) trayectoria seguida durante un experimento de bucle cerrado. (B) trayectoria seguida durante un "vacío" experimento MEA (no hay células se cultivan en el MEA superficie). () Ruta C seguido durante un experimento en lazo abierto (tipo de estimulación es constante durante todo el experimento). Haga clic aquí para ver una versión más grande de la figura.

Figura 2: Los resultados de rendimiento se ven afectados por cerrado-loop y estimulación tetánica. En este gráfico se informa de las distribuciones de las distancias recorridas por el robot entre éxitos posteriores en diferentes condiciones. En particular, las dos primeras distribuciones representan experimentos de control ('Empty' para grabaciones sin neuronas chapados en la MEA, 'lazo abierto' (OL) para experimentar con un robot "ciego"). Las dos últimas columnas representan la condición de "bucle cerrado" sin (CL) y con (CL + TS) el protocolo de aprendizaje implementado a través de la estimulación tetánica (TS), entregado a la cultura siguiente hits contra un obstáculo. En cada caja, el segmento central horizontal representa la mediana de la distribución, la plaza vacía el valor medio, la barra central se extiende a la primera y tercer cuartil y los bigotes se extiende a los 5 ^º y 95 ^{º percentiles.} Los valores extremos son representados como diamantes. Estadísticas se han realizado utilizando el test de Kruskall-Wallis análisis uno de varianzaen filas: la comparación del par de Student-Newman-Keuls revela que todos los valores de la mediana son significativamente diferentes con p <0,05.

Figura 3: La descodificación influye en el rendimiento robótico El gráfico anterior representa la probabilidad, para un algoritmo de decodificación que se describe, del robot para navegar con éxito a través de una pista corta en una cantidad limitada de tiempo.. Identificación de ráfagas y picos aislados se realiza en tiempo real durante el mismo experimento. En el primer caso ('picos') todos los picos detectados presentan el mismo peso relativo, para el segundo y tercer distribuciones un peso de 0 se fijó para, respectivamente, picos aislados y picos pertenecientes a una explosión. Las dos últimas columnas representan los resultados obtenidos en el caso en que todos los picos se contabilizan, pero con un peso relativo diferente según su posición.En particular, en la cuarta columna aislado picos se les dio mayor peso relativo de eventos de ráfaga, mientras que la ponderación se invierte para la decodificación con relación a la quinta columna de datos. En cada gráfico, la línea central representa la mediana de la distribución, la plaza vacía el valor medio, mientras que la barra central se extiende a la primera y tercer cuartil y los bigotes se extiende a los 5 ^º y 95 ^{º percentiles.} Estadísticas se han realizado utilizando el test de Kruskall-Wallis análisis uno de varianza en filas. La comparación por pares (método de Student-Newman-Keuls,) revela que las diferencias significativas (p <0.05) se pueden observar entre las columnas 1 y 4, 2 y 4, 2 y 5, 2 y 3.

Discusión

En este trabajo una arquitectura neuro-robótica basa en un controlador neural (es decir, una red de neuronas procedentes de la corteza o el hipocampo de ratas embrionarias), bi-direccionalmente conectado a un robot virtual, se presenta. El robot, que tiene sensores y las ruedas, se ve obligado a moverse en un escenario estático con obstáculos y su tarea consiste en evitar colisiones.

La primera y posiblemente más crítico aspecto del procedimiento descrito es la preparación de los cultivos sí mismos, como la tasa de fracaso tenderá a ser significativa incluso en el mejor de condiciones técnicas. Una descripción detallada de las técnicas de cultivo es, sin embargo, fuera del alcance del presente trabajo. Como pauta general, las grabaciones deben ocurrir cuando la tasa de disparo de la red alcanza un nivel estable, por lo general después de 3 semanas in vitro. Una indicación aproximada de las culturas saludables es la presencia de espontánea actividad electrofisiológica en varios Chann grabaciónels (al menos 20 canales más de 60 disponibles). Tales cultivos se caracterizan por un alto grado de inter-conectividad neuronal. En tales condiciones, la actividad neural generalmente queda fuertemente sincronizado y, a veces, se muestran los eventos epileptiformes, con intensa clavar seguido por minuto-largos períodos de silencio ^37. Ambas características presentan un problema: la sincronización excesiva hará que sea imposible distinguir las respuestas a estímulos de diferentes electrodos, mientras que los cultivos que muestran actividad epileptiforme responderán a la primera estímulo presentado con una larga estallido de actividad, seguido de un período de silencio, independientemente de cualquier estímulos sucesivos entregado. Tanto estos problemas pueden ser fuertemente mejoran por el empleo de las culturas estampadas ^35, en el que la población neural se divide en dos o más débilmente sub-grupos interconectados.

Otra cuestión es que las respuestas neuronales dependen en gran medida de la distribución de stimul entrantei ^38,39. En un experimento de bucle cerrado, la estimulación suministrada es una función de las lecturas de los sensores, que, a su vez, son una consecuencia del movimiento del robot y por lo tanto de las propias respuestas neuronales. Esto implica que no hay una manera fácil de establecer de antemano qué respuestas se observó durante el experimento real. Como resultado, la selección de electrodos de entrada-salida debe confiar en aproximaciones sucesivas. En el protocolo descrito, un proceso de dos pasos (a saber, los pasos 5.5 y 6.4) se lleva a cabo para tratar de determinar un mapa de conexión. En el primer paso, una secuencia regular de estimulaciones se entrega y las respuestas a tales estímulos se utilizan para derivar un primer mapa de conexión y un conjunto temporal de canales de grabación. Esta configuración se utiliza para realizar la prueba de manejo se describe en el paso 6.4 y seleccione los canales de registro que serán monitoreadas durante el experimento real.

En la sección de resultados, un representante res de navegaciónULT y las mejoras inmediatas provocadas por la introducción de un modelo de aprendizaje se presentan. A lo largo de la descripción del protocolo, se mencionan varias otras variantes experimentales posibles. Por ejemplo, los dos grandes sistemas de codificación implementados en HyBrainWare2 (lineales y estocásticos), donde se desarrollaron para investigar el papel exacto de la variabilidad de entrada temporal en el código neural ^38. En el caso lineal, la tasa de estimulación instantánea es una función de los parámetros definidos por el usuario y sensores robot grabaciones. En el caso estocástico, cada instancia de tiempo tiene una probabilidad dada a elegir para entregar un estímulo. Tal probabilidad se calcula automáticamente por HyBrainWare2 para que las tasas de estimulación esperados coinciden con la del primer caso. La posibilidad de añadir fluctuación de codificación lineal proporciona una transición suave entre los dos casos descritos anteriormente. De la misma manera, la exploración de diferentes combinaciones de parámetros en la sección de decodificación podría ayudar a arrojar luz sobre el preciSE papel de estallar en las redes neurales in vitro. La velocidad de cada rueda del robot aumenta proporcionalmente al parámetro de peso cada vez que se detecta un evento en la zona de salida correspondiente, mientras que el coeficiente de extinción indica cuánto tiempo, en segundos, una de las contribuciones lleva a perder el 50% de su valor . La caries es un simple exponencial. Esas variantes ya se han tenido en cuenta en el diseño actual de HyBrainWare2, pero muchas más posibilidades de investigación están abiertas si las modificaciones adicionales en el software o configuración experimental se pueden introducir.

Una limitación significativa en lugar del protocolo aquí descrito es el requisito del software desarrollado encargo, HyBrainWare2 (libremente disponible bajo petición a todos los usuarios interesados). Este software ha sido diseñado para un conjunto de dispositivos (estimulador, tarjeta de adquisición, amplificador MEA) de un modelo y fabricante específico. Si bien es posible adaptarlo para trabajar en diconfiguraciones ferentes, la conversión llevará algún habilidad de programación. Del mismo modo, las opciones incluidas cubren sólo un conjunto limitado de todas las preguntas experimentales que podrían investigarse a través de una instalación de este tipo. Por ejemplo, el algoritmo de detección de pico implementado en la arquitectura presentada (tiempo preciso de detección de pico ⁴⁰⁾ está completamente definida por varios parámetros codificados de forma rígida que necesitan ser cambiado si el objeto de registro es muy diferente de las redes neuronales disociadas (por ejemplo, células cardíacas o rebanadas). Finalmente, el protocolo de aprendizaje consiste en la entrega de un resumen, de alta frecuencia (2 seg de 20 Hz estimulación, cada pulso de estímulo es el mismo que los utilizados para codificar la información sensorial) la estimulación después de cada golpe obstáculo. Si el robot encuentra un obstáculo con el lado derecho, la estimulación tetánica se entrega al electrodo que por lo general los códigos de información lado derecho y lo mismo es cierto para los golpes laterales izquierdos. Este protocolo está codificada y no puede be cambiado por el usuario sin necesidad de modificar el software de salir.

Si bien la configuración que aquí se presenta no es el primer sistema encarnada para experimentos híbrido, de circuito cerrado ^{20,23,27,41,42,} los diseñados en el pasado se han centrado en una sola tesis apoyada por datos de un número limitado de preparaciones análogas . Por otro lado, la configuración descrita se ha utilizado para un gran número de experimentos (más de 100 culturas se han registrado desde 2012) con preparaciones diferentes para la modularidad y el origen, mientras que los propios experimentos abordado diferentes temas (por ejemplo, impacto de la estimulación tetánica y relevancia de estallar, como se presenta en los resultados). En un futuro próximo, se prevén nuevas sesiones experimentales para verificar los efectos duraderos de tanto la estimulación tetánica y de circuito cerrado y la relación entre la regularidad estimulación y observado respuestas. Otro tema a tratar es el vínculo entre la actividad espontánea y observado, conla idea de añadir un nuevo algoritmo de decodificación que tiene en cuenta la historia de la actividad pasada y la estimulación ^43.

Materiales

Name	Company	Catalog Number	Comments
Stimulus Generator 4002	Multi Channel Systems
MEA1060-Inv-BC	Multi Channel Systems
TC02	Multi Channel Systems
NI 6255 Acquisition Card	National Instruments
Microsoft Visual Studio 2008	Microsoft
2078P Multichannel System-National Instruments adapter board	Developed at University of Genova (Italy)
Matlab 2010	Mathworks
HyBrainWare2			HyBrainWare2: Contact Information