Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

JB, SMC y RCG apoyados por NIH R01MH1006674 a SMC y R01EB021711 NIH para RCG. CMJ y BHS fueron apoyados por el proyecto de laboratorio de Ideas de NSF en "agrietar el código olfativo" a BHS. Agradecemos a Kyle Steinmetz, Taryn Oboyle y Rachael Halby por su asistencia en la realización de esta investigación.

1. coger y aprovechar la miel de abejas
<ol>
	<li>Siga los pasos del protocolo 1 al 3.1.1 de Smith y peso59.</li>
</ol>
2. preparar el arnés del Animal y la cámara de Video
<ol>
	<li>Ocultar las piernas aplicando cinta sobre la parte superior del tubo del arnés, inspeccionar visualmente que las piernas no se puede ver desde la parte superior.</li>
	<li>Refrene la cabeza aplicando cera caliente en la parte posterior de la cabeza del insecto. Inspeccionar visualmente que la cabeza es fijo y no móvil. En este punto, las antenas y las mandíbulas deben ser los apéndices sólo pueda moverse libremente.</li>
	<li>Maximizar el contraste entre las antenas y el video de fondo colocando una hoja de papel debajo del arnés insectos blanco. Para reducir al mínimo la necesidad de ajustar más tarde la cámara, marcar la ubicación del cinturón de insectos en el papel y luego colocar a nuevos individuos en el mismo lugar.</li>
	<li>Fijar la posición de la cámara con un trípode o un soporte de la webcam para poner la cámara encima de la cabeza de los insectos. Utilizando el software de la cámara, previsualizar el vídeo y hacer zoom para ampliar la imagen principal, lo que permite una separación de ~ 20-30% en todos los lados del vídeo.<ol>
		<li>Asegúrese de que los objetos que se mueven sólo en la vista de cámara son las antenas o las proboscis/mandíbulas y vuelva a colocar la cámara o el animal si es necesario. Nota: SwarmSight cheques para el movimiento de píxeles alrededor de la cabeza. Movimiento extraño en las inmediaciones de la cabeza causada por objetos tales como las piernas, sombras, los fanáticos o los seres humanos puede confundir el software e introducir ruido adicional.</li>
	</ol>
	</li>
	<li>Minimizar las sombras de la antena mediante el ajuste de iluminación ambiental. Nota: El software puede tolerar algunas sombras, pero para obtener mejores resultados, deben ser mantenidos al mínimo.</li>
	<li>Evitar ajustes de exposición automático de la cámara mediante el uso de software de velocidad de obturador de la cámara para mantener constante a lo largo del video el tiempo de exposición de la cámara. Utilizando el software, ajustar la velocidad del obturador para maximizar el contraste (video escena no demasiado claro o demasiado oscuro), ajustando el deslizador de exposición' en 'Configuración de la Webcam'. Nota: Las instrucciones son específicas a la webcam y el software utilizado. Estos tendrán que adaptarse si se utilizan otras webcams.</li>
	<li>Coloque la fuente de suministro de olor y asegurar que no obstruya la vista de cámara mediante la inspección de la alimentación de video cámara. Asegurar que una fuente de vacío se coloca en el lado opuesto para eliminar los olores de estímulo.</li>
	<li>Coloque un LED, o algún otro indicador visual que cambia de brillo para indicar entrega olor, dentro de la vista de cámara. Nota: El valor de brillo de LED es salvado por el software y puede usarse para determinar el exactos marcos cuando el olor comienza y termina.</li>
</ol>
3. cada individuo bajo condiciones experimentales de la película
<ol>
	<li>Cada condición de insecto y prueba individual en video separado archivos o grabar por separado cada combinación prueba individual utilizando video montaje software para dividir un archivo de vídeo largo en archivos más pequeños. Nota: El software requiere el usuario localizar la posición de la cabeza en cada video y la cabeza permanecen fijos. Si la cabeza se mueve, se introducirán ruido adicional. La función de procesamiento por lote de SwarmSight le permite establecer rápidamente la ubicación de la cabeza de varios vídeos y asume que la cabeza del insecto permanece fija durante la duración de cada archivo de vídeo. Instrucciones sobre cómo dividir archivos de vídeo largo se pueden encontrar en línea60.</li>
</ol>
4. vídeo análisis
<ol>
	<li>Descargar e instalar el módulo 'Antena de seguimiento' siguiendo los pasos proporcionados en línea58. Nota: Video tutoriales que describen cómo utilizar el software están disponibles en el sitio web también.</li>
	<li>Abrir un archivo de vídeo que muestra un animal filmado usando el botón 'Examinar'.</li>
	<li>Colocación de la antena sensor y sensor de tratamiento
	<ol>
		<li>Una vez que se carga el video, coloque el widget de "antena Sensor" rectangular sobre la cabeza del animal, utilizando los iconos de rotación y escala para alinear el widget con la cabeza (ver por ejemplo figura 1 ).</li>
		<li>Colocar el widget de "Tratamiento Sensor" circular sobre el LED que indica cuándo se presenta el mal olor o estímulo. Nota: El Sensor de tratamiento registrará el valor de brillo del píxel en el centro del widget para cada marco.</li>
	</ol>
	</li>
	<li>A partir de procesamiento de vídeo
	<ol>
		<li>Pulse el botón de "Play" (triángulo negro) en la esquina inferior izquierda para iniciar el análisis de los marcos. Nota: Los puntos de antena y probóscide probables detectados será resaltado amarillo. Los anillos amarillo mostrará la ubicación de las puntas de los apéndices. Los ángulos (donde 0 es directamente en frente del animal) de la antena y la longitud de extensión de la probóscide aparecerá en el widget de "Modelo" en la esquina inferior izquierda (ver figura 1). El widget de "Sectores dominantes" en la esquina inferior derecha muestra la intensidad relativa de los cinco sectores de 36 grados donde se han detectado los puntos de antena más. Los sectores más oscuros contienen la mayor cantidad de puntos, mientras que las más ligeras tienen la minoría. Aparecerá el número de sector (1-5) con más puntos en las esquinas inferiores del widget (ver figura 1).</li>
	</ol>
	</li>
	<li>Ajuste de umbrales de filtro y agregar zonas de exclusión
	<ol>
		<li>Para cambiar la sensibilidad de los filtros, ajuste los controles deslizantes en la sección "Filtros", en el panel derecho. Nota: Dependiendo de las condiciones de iluminación y velocidad del movimiento general de los apéndices, las sensibilidades diferentes del filtro será óptimas. El usuario puede encontrar los valores óptimos los valores de ajuste y observando las zonas resaltadas en la barra de Sensor de antena. Cuando se encuentra un conjunto ideal de sensibilidades, se resaltará sólo los apéndices. Se recomienda para avanzar rápidamente a otras partes del video para la sensibilidad de filtro óptimo, también.</li>
		<li>Opcionalmente, para ignorar objetos extraños, en el panel derecho, expanda la sección "Sensor de antena", haga clic en la "zona de exclusión de agregar" botón (ver figura 1) y haga clic en un conjunto de puntos para formar un polígono rojo, cuyo contenido será ignorado por el software. Nota: Si el video contiene movimiento extraño, y el movimiento es dentro de zona del widget de antena Sensor (por ejemplo, mover las piernas, fuertes sombras, equipo de laboratorio, etc.), el software puede confundirla para el movimiento de los apéndices.</li></ol></li></ol>Los objetos extraños pueden ignorarse dibujando polígonos rojo o "Zonas de exclusión". No se cualquier cosa dentro de un polígono rojo utilizará para el seguimiento.
	
	
	<li>Cómo guardar resultados
	<ol>
		<li>Una vez que los filtros y los widgets se han establecido, detener el video, reiniciar desde el principio y jugar hasta el final. Nota: Una vez que ha jugado el video entero, las posiciones de los accesorios para todos los marcos videos se almacenará en la memoria.</li>
		<li>Para guardar los datos de posición del apéndice en un archivo, expanda la sección de "Guardar" a la derecha y haga clic en "guardar en. Botón CSV". Continuación, seleccione una carpeta para guardar el archivo. Nota: La "guardar en. Botón CSV"guardará los resultados del procesamiento de un archivo .csv. De forma predeterminada, el usuario se ofrecerá para guardar el archivo .csv en la misma carpeta que el archivo de vídeo y tendrá una fecha y hora como parte del nombre del archivo. El archivo .csv que contiene un conjunto de columnas que contienen información sobre la posición de los accesorios, incluyendo los ángulos de la antena y sectores dominantes, así como la orientación y la posición de la cabeza. La descripción de cada columna se proporciona en línea61.</li>
		<li>Utilizar las columnas (s) y los campos de valores en la sección de Save para crear una columna adicional (o más si separados por comas) en el archivo .csv para información del registro, como identificación del tema o el nombre de una condición experimental. Nota: El valor en el cuadro columnas aparecerán en el encabezado de la primera columna y el valor en el cuadro de valores se repetirán en todas las filas de la primera columna.</li>
	</ol>
	</li>
	<li>Procesamiento por lotes Nota: El software puede procesar múltiples archivos de vídeo en un lote. Sin embargo, el usuario debe proporcionar la información de la ubicación principal para cada vídeo antes de iniciar el lote.<ol>
		<li>En el panel derecho, en la sección de "Vídeos", haga clic en el botón "Batch Processing" para abrir una ventana que permite crear una lista de archivos de vídeo a procesar secuencialmente por el software.</li>
		<li>Utilice el botón "Añadir más vídeo archivos a lote" para seleccionar uno o más archivos de vídeo a incluir en la lista por lotes.</li>
		<li>Opcionalmente, use las teclas "CTRL" o "SHIFT" para seleccionar varios vídeos que usan el mismo conjunto de parámetros de widget. Nota: Buenos candidatos para la reutilización de parámetro son conjuntos de videos del mismo animal que no se ha movido entre diferentes condiciones experimentales.</li>
		<li>Empezar a establecer los parámetros de widget para ser utilizado para los vídeos seleccionados haciendo clic en el botón "Configurar Sensor posiciones para las".</li>
		<li>Ajustar los parámetros de la antena de Sensor, Sensor de tratamiento, filtros, guardar secciones y haga clic en "Guardar parámetros a lote" cuando se hace.</li>
		<li>Una vez seleccionados los parámetros de cada vídeo, iniciar el proceso de lote haciendo clic en el botón "Comenzar proceso". Nota: El software carga los archivos de video en el orden en que ellos aparecen en la lista por lotes, procesan y guardar sus archivos de .csv correspondientes en la misma carpeta donde se encuentran los archivos de vídeo. Una barra de progreso en la parte superior proporcionará un tiempo de finalización Estimado después de haber completado el primer video.</li>
	</ol>
	</li>

Los autores declaran que no tienen intereses financieros que compiten.

El método presentado aquí permite seguimiento en tiempo real de movimientos de antena y probóscide insectos sin necesidad de preparaciones especiales animales o hardware.
Limitaciones:
A pesar de estas ventajas, existen algunas limitaciones del método. Estos incluyen el requisito de que la cabeza del animal está restringida de movimiento, la necesidad de que el usuario seleccione la ubicación y orientación de los animales para cada video, el requisito para tener acceso a una computadora con Windows e incapacidad del software de seguimiento movimiento en tres dimensiones (3D) y en algunas posiciones del apéndice visualmente ambigua que se describe a continuación.
El software requiere que la cabeza del animal se fija en su lugar y no se mueve durante el video. Esto es similar a las preparaciones del anterior trabajo48,49,50,51. Es posible modificar el software para permitir la detección automática de rotaciones de cabeza, sin embargo, esto consume tiempo de procesamiento adicional e introducir una nueva fuente de error. Si el software modificado debían detectar la rotación de la cabeza de forma incorrecta, esto afectaría los ángulos de antenas, como su cómputo en relación con el ángulo de rotación de la cabeza. Actualmente, el usuario selecciona la orientación principal de una vez por video. Este enfoque, aunque no sin error humano, minimiza los errores de cálculo de ángulo cuando la cabeza no debe moverse durante el video.
El software también requiere un 7 (o posterior) sistema operativo (OS). El objetivo era que el software sea fácil de instalar, configurar y utilizar por usuarios sin conocimientos de administración de computadoras programación o sofisticado. Decidimos destino Windows porque está ampliamente disponible, y en casos donde el acceso es limitado, se pueden crear fácilmente máquinas virtuales (por ejemplo, VirtualBox, VMware, Parallels) con Windows. Esta elección de OS grandemente simplifica la instalación del software mediante el uso de un instalador fácil de usar, libre desde la línea de comandos y evita errores específicos de diferentes OSs.
El software sólo rastrea la posición de los apéndices en el espacio 2D. Insectos son conocidos por mover su antena en 3D, que podría significar que la información importante se pierde cuando sólo 2D coordenadas se miden. Mientras que el uso de múltiples cámaras o espejos podría ayudar en la recolección de la información adicional necesaria para la localización de 3D, es posible calcular, con el uso de relaciones trigonométricas, una posición estimada de la hacia fuera-de-plano por suponer que las antenas son segmentos de línea de longitud constante y movimiento solamente en un lado del plano de cámara. Para miel de abejas, este supuesto es válido para obtener estimaciones aproximadas para la posición en 3D, pero no sería necesariamente el caso para otras especies y situaciones.
El software no detecta correctamente las antenas y probóscide punta localidades en situaciones ambiguas. Si un animal mueve a una antena para que, en el video, que superpone una probóscide extendida, el software detectará probablemente la punta de la antena como la punta de la probóscide. El ángulo de la antena sin embargo, todavía es probable que se le compute correctamente (de la parte no superpuestos). Del mismo modo, si las puntas de la antena se mueven directamente sobre la cabeza del animal (es decir, no en los lados) entonces el software puede solamente detectar la parte de la antena que es visible fuera de la cabeza, asumir la anterior ubicación de la antena o detectar falso ruido de vídeo como ubicación de la antena. En ambas situaciones, incluso humanos calificadores tienen dificultades para discernir la antena de la probóscide o la cabeza. Para mitigar este problema, se recomienda aplicar un filtro de mediana57 balanceo 3-marco, simétrico a raw X e Y coordenadas producción por el software. Este filtro elimina las fluctuaciones grandes transitorios (solo cuadro) posición y conserva más movimientos de posición de antena. Hemos encontrado que el filtro 3-marco realizado mejor que ningún filtro, filtros más amplios (por ejemplo, 5, 11 o 15 fotogramas) redujo exactitud. Ejemplo R de código que utiliza el filtro y un tutorial de vídeo se puede encontrar en línea58.
Valor como una herramienta científica:
La disponibilidad de un método para obtener rápidamente movimientos de apéndice de insecto precisa de una manera rentable tiene el potencial para abrir nuevas áreas de investigación.
Reflejo de extensión probóscide (PER) es una respuesta de comportamiento utilizada para investigar el aprendizaje y la memoria de una gran variedad de insectos59. Estudios previos han dependido generalmente binario extendido o no medida de PER, aunque análisis videos y electromiográficos han demostrado topologías más complejas a probóscide movimientos65,66. El método aquí permite la cuantificación rápida de movimientos de la probóscide en altas resoluciones temporales y espaciales.
Movimientos de la antena del insecto en respuesta a los olores son poco conocidos. Una de las razones es que las antenas tienden a moverse tan rápidamente que un medio rentable y automatizado para obtener datos de movimiento de la antena no ha estado disponible. El método presentado aquí podría utilizarse para obtener rápidamente datos de movimiento de la antena para un gran número de insectos en un gran número de condiciones. Esto podría ayudar, por ejemplo, los investigadores investigaron la correlación entre movimientos de la antena en respuesta a varios estímulos, olores volátiles en particular. Usando cámaras de capturan de fotogramas a 30 Hz, el software puede utilizarse para caracterizar la dinámica de movimiento antenal hasta 15 Hz (límite Nyquist). Si es necesario la caracterización en las frecuencias más altas, podrían utilizarse cámaras con mayores tasas de captura (por ejemplo, 60 ó 120 fps). Sin embargo, un ordenador más rápido puede ser requerido para procesar vídeos de fps más alta en tiempo real. Especulamos que las clases de olores y posiblemente incluso algunos olores individuales, tienen movimientos antenales innatos característicos. Si esas clases o compuestos podrían ser descubierto, desconocido, pudo detectarse olores o su clase de movimiento antenal de insectos. Si existe tal asignación, la combinación de suficientes datos de movimiento de la antena y algoritmos de aprendizaje de la máquina del estado del arte debe empezar a descubrirlo. También, cómo esa asignación cambia en respuesta a aprendizaje, formas durante el desarrollo, o se interrumpe con las intervenciones genéticas podrían ofrecer información sobre las funciones del sistema olfativo.Finalmente, este trabajo podría dar una visión artificial detección de olores si revela métodos de muestreo óptimo para los olores en entornos complejos.
Trabajo futuro:
Aquí, mostramos que antena movimiento rápidamente obtenidos y datos analizados: las respuestas de comportamiento significativos pueden ser detectadas desde los datos generados por nuestro software, y se identificaron varias áreas de mayor investigación.
Los cursos de tiempo de antena sacada de estímulo ángulo recuperación a línea de fondo y las desviaciones de y cualquier efecto de rebote de estímulo-conclusión y su dependencia de concentración de olor pueden ser investigados y modeladas matemáticamente. Además, cualquier cambio de los movimientos de la antena inducida por apetitivo o aversivo acondicionado también puede evaluarse con el software.
También puede explorarse mejor diferenciación de olores. En este estudio, los olores, en puro y 35 x versiones diluidas produce respuestas similares: las antenas, en promedio, aparecieron rápidamente retirar de la fuente de olor y volver a pre-olores instantáneas después de unos segundos. Especulamos que incluso las versiones diluidas pueden haber sido muy fuertes estímulos olfativos para las abejas. Si es cierto, una gama más amplia de concentraciones podría utilizarse para determinar si las respuestas antenales distinguen los olores. Además, análisis más sofisticados mejor pueden revelar diferencias en movimientos antenales en respuesta a diferentes olores. Hemos hecho los archivos de datos para generar figuras en este manuscrito disponible para investigadores interesados en la Página Web de SwarmSight67.
Además, mientras que fuera del alcance de este manuscrito, el software podría extenderse para procesar vídeos de animales colocados en cámaras con dos espejos en ángulo a 45° (ver por ejemplo figura 1 ). Esto podría utilizarse para localizar y rastrear su movimiento en el espacio 3D y los apéndices exactamente. Sin embargo, los algoritmos para el seguimiento 3D exigiría eficiente: (a) eliminar la ambigüedad entre antenas múltiples cuando son visibles en uno de los espejos laterales, (b) correctos para imperfecciones en ángulos de espejo y (c) representan distorsiones debido a la cámara posicionamiento.
Finalmente, aumentos adicionales en la exactitud de la posición puede realizarse mediante el uso de un Kalman filtro68, qué modelos y utiliza la información de estado físico como apéndice velocidad y aceleración para restringir ubicaciones previstas. Sin embargo, cualquier aumento en la precisión debe ser evaluada contra las reducciones en la velocidad debido a cómputos adicionales.
CONCLUSIÓN:
Muchos insectos utilizan antenas para activamente la muestra compuestos volátiles en sus ambientes locales. Patrones de movimientos antenales pueden proporcionar la penetración en la percepción de olor insectos y cómo es afectado por alteraciones genéticas, acondicionado y compuestos tóxicos. Del mismo modo, movimientos de probóscide se han utilizado para evaluar la percepción del olor y su modulación. Sin embargo, ha sido difícil obtener rápidamente grandes cantidades de datos de movimiento de alta resolución de la orejuela. Aquí, un software y Protocolo se describe que automatiza esta tarea. En Resumen, hemos creado y demostró cómo la combinación de hardware barato, una preparación de animales comun y el software de código abierto se pueden utilizar para obtener rápidamente datos de movimiento de alta resolución apéndice de insecto. Se muestra la salida del software, cómo supera calificadores humanos en velocidad y precisión, y cómo se pueden analizar y visualizar los datos de salida.

La mayoría artrópodos mover antenas u otro apéndice a muestra señales ambientales y las señales en tiempo y espacio. Los animales pueden utilizar las antenas para navegar su entorno mediante la detección de señales sensoriales tales como químicos volátiles y estímulos gustativos y mecánico1,2,3,4. En los insectos, las antenas contienen receptores sensoriales que se unen a químicos volátiles4,5,6 y transmiten esta señal a través de las neuronas sensoriales olfativas al cerebro central regiones1,7 ,8,9. Los insectos pueden ajustar posiciones de antenas para modular la información entrante olores4,10,11. Esta modulación facilita activamente informadas respuestas conductuales a los olores y sus plumas12,13.
Alimentación de muchos insectos, incluyendo agroecosistemas (por ejemplo, miel de abejas y abejorros), lepidópteros (por ejemplo, mariposas) y dípteros (por ej., moscas y mosquitos), entre otros, ampliando su probóscide14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. extensión de la probóscide se ha utilizado confiablemente en el pasado para una variedad de aprendizaje y la memoria las tareas22,23,24,25,26, 2728,de,29,30,31. Del mismo modo, evaluación cuantitativa del movimiento de antenas con alta resolución temporal y espacial podría producir penetración en la relación entre el estímulo, el comportamiento y el estado interno del animal. De hecho anterior trabajo ha mostrado cómo los movimientos antenales contienen una rica cantidad de información acerca del seguimiento de la abeja de miel del medio ambiente y cómo los movimientos cambian con el aprendizaje32,33,34, 35,36,37,38.
En la última década, métodos para observar comportamiento animal han sido grandemente acelerados por los avances en cámaras de video de alta resolución, equipo procesamiento de velocidades y algoritmos de visión de máquina. Tareas como la detección de animales, conteo, seguimiento y análisis de preferencia de lugar han sido ayudadas con software sofisticado que puede procesar vídeos de comportamiento animal y extracto relevante mide39,40, 41,42,43,44,45,46,47.
Estas tecnologías han ayudado también seguimiento de insectos movimientos antena y probóscide. Es posible que evaluadores humanos utilizar un cursor de ratón a seguir manualmente la posición de las antenas. Sin embargo, mientras que este método puede ser exacto, la tarea es desperdiciador de tiempo y fatiga y falta de atención humana pueden resultar en resultados poco fiables. Preparación y el equipo especial pueden utilizarse para reducir la necesidad de software complejo. Por ejemplo, una configuración utiliza una cámara de alta velocidad y pintado de las puntas de las antenas para rastrear el movimiento de antena48. Los usuarios también se le pueden pedir para seleccionar fotogramas clave de videos para ayudar al software en la detección de la ubicación de antena y probóscide49. Otro enfoque detecta los dos grupos de movimiento mayor para identificar antenas, pero no detecta la probóscide ubicación50. Otro paquete de software puede detectar ubicaciones de la antena y probóscide, pero requiere de unos 7.5 s de tiempo de procesamiento por marco51, que podría ser prohibitivo para los estudios de observación en tiempo real o a largo plazo. Finalmente, es posible personalizar paquetes de software comercial (por ejemplo, EthoVision) para realizar la tarea46, pero los gastos de licencias y capacitación pueden ser prohibitivos.
Con el método descrito aquí, hemos ampliado nuestro trabajo anterior sobre el movimiento análisis software41 para rastrear la ubicación de antenas de insectos y probóscide con los siguientes objetivos: (1) no requiere de hardware especial o preparación animal complejo, (2). marco de procesamiento en tiempo real (30 fps o más rápido) en una computadora convencional, (3) facilidad de uso y (4) open-source, código fácilmente extensible.
El novedoso método resultante y software de código abierto, SwarmSight apéndices de seguimiento, no requiere pintura de las puntas de las antenas, puede utilizar una cámara web de consumidor para capturar vídeos y fotogramas de vídeo de procesos en 30-60 fps en un ordenador convencional ( Figura 1). El software toma los archivos de vídeo como entrada. El usuario localiza la posición de la cabeza del insecto en el vídeo y, después de procesar, se produce un archivo de valores separados (CSV) de comas con las ubicaciones de las antenas y la probóscide. El software es capaz de leer cientos de formatos de video (incluidos los formatos producidos por la mayoría de las cámaras digital) a través del uso de la biblioteca FFmpeg del52.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
Figura 1: Animal salida de configuración y software. (A) A cazador de abejas de miel con su cabeza y el cuerpo de un arnés. Olor (B) fuente se coloca frente al animal, una cámara de vídeo se coloca por encima, y una fuente de vacío se coloca detrás del animal. (C) la antena punta y probóscide variables detectadas por el software de SwarmSight en el video. (D) el usuario coloca el sensor de antena sobre el animal y ajusta los parámetros del filtro. El software detecta la posición de la antena y probóscide (anillos amarillos).<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
En primer lugar, cuerpo de un insecto y su cabeza se refrenan en un arnés que los movimientos de la antena y la probóscide se observan fácilmente (figura 1A). Una fuente de olor se coloca delante del insecto, con una fuente de vacío colocada detrás, para eliminar los olores del aire y minimizar los efectos potenciales de adaptación sensorial (figura 1B). Una cámara web convencional se coloca encima de la cabeza de los insectos en un trípode. Un LED puede colocarse dentro de la visión de la cámara para indicar cuando se presenta el olor.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
Figura 2: sistema de coordenadas de la antena. X, Y valores utilizan el sistema de coordenadas video donde esquina superior izquierda es el origen y aumento de los valores de X e Y cuando se mueve hacia la esquina inferior derecha. Los ángulos se expresan en grados con respecto a la parte delantera de la cabeza (generalmente la fuente de olor). El valor "0" significa que la línea formada por el flagelo de la antena esté apuntando directamente en frente del animal. Todos los ángulos son positivos, excepto cuando un puntos de antena en la dirección opuesta (por ejemplo, puntos de flagelo derecha a la izquierda). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
Después de la filmación, se abre el archivo de vídeo con el software de SwarmSight, donde el usuario coloca el widget de antena Sensor (figura 1, cuadro negro) sobre la cabeza del insecto y comienza la reproducción del vídeo. Cuando se guardan los resultados, el archivo .csv contiene la X, consejos Y posiciones de la antena, los ángulos de la antena con respecto a la parte delantera de la cabeza (figura 2) y la probóscide X, Y posición. Además, la métrica de un sector dominante se calcula para cada antena. La métrica muestra que de los cinco sectores de 36 grados que rodean cada antena contiene la mayor cantidad de puntos considera probable que las antenas y puede ser útil si los parámetros de posición/ángulo de la antena no son confiables debido a videos de ruido o de lo contrario problemáticos.
Brevemente, el software funciona mediante el uso de un conjunto de movimiento filtros53 y relajado flood fill algoritmo54. Para encontrar los puntos de la antena posible, se utilizan dos filtros: un filtro de 3 consecutivos marco diferencia41,55 y un filtro de mediana-fondo56 . Un filtro de color distancia umbral se utiliza para la detección del punto de probóscide. El 10% de los puntos de cada filtro se combinan, y un algoritmo de relleno de inundación que inspecciona puntos contiguos con huecos hasta 2 pixeles (px) localiza puntos extremos. Paralelo marco descifrar, procesamiento y tuberías de procesamiento y memoria optimizada alcanza la asignación del flujo de datos de filtro de alto rendimiento. Crudo x los valores de coordenadas y producidos por el software son después procesados con un 3-marco laminado filtro mediana57 (ver discusión). Las instrucciones para descargar el código fuente completo se pueden encontrar en línea58.
A continuación es un protocolo para preparar a una forrajera de abeja de la miel para la antena de seguimiento. Un protocolo similar podría usarse para rastrear los movimientos de la antena/proboscis de cualquier otro insecto. En la sección de resultados, se describe una salida de rastro de antena muestra que es detectada por el software, la comparación de la salida del software al seguimiento realizado por evaluadores humanos y evaluación del movimiento de antenas en respuesta a cinco olores.

<table border="0" cellpadding="0" cellspacing="0" width="938">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Insect harness</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol sections 1-3.1.1 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">Odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Vacuum source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">LED connected to odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Low Voltage Soldering Iron</td>
			<td style="width:95px;">Stannol</td>
			<td style="width:161px;">Low Voltage Micro Soldering Iron 12V, 8W</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">DC Power Supply</td>
			<td style="width:95px;">Tekpower</td>
			<td style="width:161px;">HY152A</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">White sheet of paper</td>
			<td style="width:95px;">Georgia-Pacific</td>
			<td style="width:161px;">998606</td>
			<td style="width:495px;">Any white sheet of paper can be used as alternative</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Tripod</td>
			<td style="width:95px;">AmazonBasics</td>
			<td style="width:161px;">50-Inch Lightweight Tripod</td>
			<td style="width:495px;">Optional</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">WideCam F100</td>
			<td style="width:495px;">FLIR Flea3 or another camera with manual focus can be used.</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">Camera shutter speed software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:188px;">Windows Operating System</td>
			<td style="width:95px;">Microsoft</td>
			<td style="width:161px;">Windows 7 Professional</td>
			<td style="width:495px;">Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">SwarmSight software</td>
			<td style="width:95px;">SwarmSight</td>
			<td style="width:161px;">Appendage Tracking</td>
			<td style="width:495px;">Download from http://SwarmSight.org</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">R software</td>
			<td style="width:95px;">R Project</td>
			<td style="width:161px;">R 3.4.0</td>
			<td style="width:495px;">Download from: https://cran.r-project.org/bin/windows/base/</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">R Studio software</td>
			<td style="width:95px;">RStudio</td>
			<td style="width:161px;">RStudio Desktop</td>
			<td style="width:495px;">Download from: https://www.rstudio.com/products/rstudio/download/</td>
		</tr>
	</tbody>
</table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

Muchos insectos de importancia agrícola y científico utilizan antenas para detectar la presencia de compuestos químicos volátiles y extiende su probóscide durante la alimentación. La capacidad de rápidamente obtener medidas de alta resolución de movimientos naturales de la antena y la probóscide y evaluar cómo cambian en respuesta a las manipulaciones químicas, genéticas y de desarrollo puede ayudar a la comprensión del comportamiento de insectos. Mediante la ampliación de nuestro anterior trabajo sobre la evaluación agregada enjambre de insectos o movimientos de animales grupo de natural y laboratorio videos utilizando el software de análisis de vídeo SwarmSight, hemos desarrollado un módulo de software nuevo, libre y de código abierto, SwarmSight Apéndice Seguimiento (SwarmSight.org) para el rastreo de cuadro por cuadro de insectos antena y proboscis de vídeos de cámara web convencional con equipos convencionales. El software procesa fotogramas aproximadamente 120 veces más rápidos que los seres humanos, realiza en mejor que la precisión humana y, con 30 fotogramas por segundo videos (fps), puede capturar dinámica antenal hasta 15 Hz. El software fue utilizado para rastrear la respuesta antenal de abejas a dos olores y encontró importantes retracciones antenales media distancia de la fuente de olor 1 s después de la presentación de olor. Observamos calor de densidad de posición de antena significa dependencia del ángulo de concentración de olor y mapa clúster y formación de grupos.

En las secciones siguientes son un ejemplo diagrama de ángulos antenas producido a partir de los datos del software, comparación de la exactitud del software y velocidad con calificadores humanos y los resultados de un experimento donde miel abeja antena movimiento es afectado por la presentación de diferentes olores. R software62,63 fue utilizado para realizar el análisis y generar las cifras. Código de R para la generación de análisis y figura, así como tutoriales en vídeo se puede encontrar en línea58.
Salida del software:
La figura 3 muestra rastros seleccionados al azar cinco de antena ángulos detectados por el software de videos de abejas presentadas con versiones de aceite mineral diluido x puro y 35 del heptanal heptanol, como aire limpio.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
Figura 3: cinco de la muestra rastros de antenas ángulos detectados por SwarmSight. Eje muestra ángulo de la antena en grados, donde "0" está directamente en frente del animal, hacia la fuente del olor, con valores mayores hacia lejos de la fuente de olor. Heptanol, heptanal y sus 35 x versiones aceite mineral diluido, así como aire limpio, se aplicaron durante el gris 0 - ms 3.600 ventanas recolectoras de miel una abeja. Antena izquierda está marcado en rojo, marcada derecha azul. Las abejas al azar cinco, uno de cada condición, se representan en cinco parcelas. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
Validación de software:
Para validar que el software puede detectar confiablemente las ubicaciones de las antenas, posiciones de antena situados por los seres humanos fueron comparados con las posiciones ubicadas por el software. Dos evaluadores humanos debían encontrar la antena y la probóscide en fotogramas de vídeo 425 (~ 14 s de video). Un módulo de software a la medida registró las ubicaciones de apéndice marcadas por los calificadores, avanzados automáticamente fotogramas de vídeo y registran la cantidad de tiempo dedicado a la tarea. Como un ejemplo de correspondencia entre los valores humanos y software ubicados, superponen restos coordenadas vertical de una antena para el software y para las dos localidades detectadas humanas se muestran en la Figura 4A. La distancia entre las posiciones de los dos calificadores antena marcada fue computada y llamada "Distancia entre humana". La distancia entre la ubicación de la antena detectado por el software y la ubicación más cercana detectados por los calificadores humanos fue computada y llamada "Distancia humana más cercana Software" (Figura 4B).
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
Figura 4: comparación con calificadores humanas. (A) dos evaluadores humanos y consejos de antena SwarmSight ubicada en 425 fotogramas de vídeo. Las coordenadas de punta Y de la antena izquierda fotograma por fotograma encontraron por los calificadores humanos y software se superponen. (B) superpuestas desacuerdo fotograma por fotograma (distancia en píxeles videos) entre calificadores humanos (naranjas) y el desacuerdo entre el software y el valor más cercano de asesores humanos (negro). (C) humano vs humano antena punta ubicaciones (naranjas) y software vs humanos localizaciones (negro). (D) histogramas y distribuciones acumulativas (discontinuas) de humanos vs humanos y software vs distancias humano desacuerdo fotograma por fotograma. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
Distancia entre humano fue 10.9 px en promedio, en 55,2 px en el 95% de los cuadros, y tenía un valor máximo de 81,6 px. La distancia más cercana de Software humano fue 8.0 px en promedio de 18.3 px en el 95% de los cuadros, y tenía un valor máximo de 49.0 px (ver histogramas de distancia en la figura 4y figura 4). 5 px fue aproximadamente a la anchura de una antena. En general, la distancia entre humanos era pequeña para los marcos al principio de la tarea y aumentó en la segunda mitad de la tarea. Sospechamos que esto era debido a fatiga del evaluador. Mientras tanto, niveles de distancia humana más cercana Software se mantuvo constantes a lo largo de la tarea.
Software velocidad y exactitud comparación con calificadores humanos:
Los seres humanos clasificación lugares de punta y probóscide de antena a una velocidad media de 0,52 fotogramas por segundo (fps). Para la estimación humana fps, el número total de fotogramas por los seres humanos (425 cada) fue dividido por el tiempo total que pasaban en la tarea (873 s y 761 s). El software había clasificado marcos a 65 fps en promedio en un PC Dual Core con Windows 7. Junto con alta velocidad de proceso y precisión similar o mejor que el humanos calificadores, se puede esperar que el software para realizar el trabajo de cerca de 125 evaluadores humanos por unidad de tiempo.
Detección de la respuesta de la antena a los olores:
Para demostrar que el protocolo puede utilizarse para detectar diferencias conductuales significativas en movimiento insectos, sometimos 23 abejas hembra a dos olores diferentes. Puro heptanal y heptanol, 35 x diluciones de aceite mineral de dos olores y aire limpio como el control, fueron presentados cada uno para 4 s (cinco condiciones en total). Videos, como se describe en el protocolo anterior, fueron procesados con el software de SwarmSight, y los ángulos de la antena analizan (figura 5).
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
Figura 5: antena ángulo medio densidad de calor y los mapas para cinco condiciones olor. (A) calor mapas mostrando densidad de ángulo de antena antes de, durante (región media más oscura) y después de la administración de heptanol, aire y heptanal olores a abejas hembras (n = 23). Las curvas negras son por fotograma promedio antena ángulos (dos antenas). Las líneas horizontales son ángulos pre-olor significa (referencia). Tenga en cuenta el conjunto de lugares recomendado: antena (racimo rojo en la trama de la parte inferior) de la fuente de olor para las condiciones de olor puro y los cambios correspondientes al ángulo de la antena media.También tenga en cuenta el cúmulo de "rebote" después de la conclusión del olor y su dependencia de inicio aparente concentración de olor (Ver localización de cluster en las otras cuatro parcelas). Escala de color del mapa de calor densidad es arbitraria pero uniforme en todas las condiciones. (B) cambio de ángulo promedio de olor pre media (S.E.M de barras de error). Excepto el aire, todo significa cambios fueron significativos (t-test p &#60; 0.05). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
Fotogramas de vídeo de 9 segmentos de s del video que consta de 3 s antes de la aparición de olor, 3.6 s de presentación de olor y 2.4 s después de la conclusión de olor fueron alineados a través de todas las personas y las condiciones (300 Marcos/segmento). Los medios por el marco de ambos ángulos de la antena de todos los individuos fueron computados para cada condición y llamados "Significa ángulos" (figura 5A, negras curvas). Los ángulos de media antena de Marcos antes de la aparición de olor a través de individuos para cada condición fueron computados y llamados "Olor antes las líneas de base" (figura 5A, líneas horizontales finas).
En todas las condiciones, excepto el control, los ángulos promedios aumentaron de líneas de base, enarbolando una vez 1.050 750 ms después de la aparición de olor (figura 5A, curvas negras en región ms 3.600 0 -). Los cambios promedios de líneas de base fueron probados por importancia (figura 5B) comparando los medios de antena de dos de los individuos en el tiempo de pico olor presentación ángulo promedio de cada condición a la media de referencia utilizando una serie de 1-sample t-tests () Normalidad de Shapiro pruebas no significativo en todas las condiciones). El cambio de ángulo medio desde el inicio fue 26,9 ° para puro heptanal (media alcanzó 750 ms después de la aparición de olor), 21,1 ° heptanal (a 990 ms), 0,2 m 19,6 ° para puro heptanol (en ms 1.050), 19,3 ° 0.2m heptanol (en ms 780) y ° 3,45 para el control de aire (no pico). En todas las condiciones, excepto el control, el cambio de ángulo medio desde el inicio fue significativo (Holm ajustado p &#60; 0.05). Observamos que el ángulo de media tarda más en volver a los valores basales en respuesta a olores puros que a olores diluido (paso bajo filtrado medio volvió a base 3.690 ms después de la aparición de olor para puro y en ms de 2.940 para heptanol diluido; veces heptanal, vuelta 4.260 ms para ms puros y 3.000 versiones diluidas).
Visualización mediante mapas de calor:
Para visualizar las respuestas de la antena, antena ángulo densidad calor mapas para cada condición que fueron generados (figura 5A, fondo azul-rojo). Ángulos de la antena a través de los segmentos de video s 10 para cada individuo por el estado fueron convolved con un kernel gaussiano (masa, kde2d función64del paquete de R). Áreas azules muestran las densidades bajas de ángulos de la antena, mientras que áreas rojas muestran altas densidades de ángulos de la antena. El mapa de calor en la trama de la parte inferior de la figura 5A para la pura condición heptanal ilustra el comportamiento de la antena.
El mapa muestra que antes de que el olor se presenta (t &#60; 0), la densidad de ángulo de la antena se distribuye relativamente uniformemente a través de todos los ángulos. 1 s después de inicio de olor (t ~ 1.000 ms), un par de grupos azules y rojos aparece. Rojo sombreado de áreas, las antenas fueron encontradas más con frecuencia que en zonas de sombra azul. La agrupación azul indica que antenas tienden a evitar ángulos más pequeños (fuente de olor fue ubicado en la dirección de 0 grados), mientras que el rojo cluster indica que antenas preferían ángulos mayores (de la fuente del olor). El racimo rojo desaparece gradualmente mientras se mantiene la presentación de olor. Otro rojo, aunque menos intenso, cluster aparece aproximadamente 1 s después de la conclusión de olor. Nombramos los racimos rojos segunda "Clusters de rebote". De acuerdo con los tiempos de recuperación de medio ángulo anteriores, observamos que los racimos de rebote parecen que aparecen antes y son menos intensos para los olores diluidos que para los olores puros.

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Este protocolo describe los pasos para utilizar el nuevo software, SwarmSight, para el rastreo de cuadro por cuadro de insectos antena y proboscis de vídeos de cámara web convencional utilizando equipos convencionales. El software libre, código abierto procesos Marcos cerca de 120 veces más rápido que los seres humanos y se realiza en mejor que la precisión humana.

SwarmSight: Seguimiento en tiempo real de movimientos de insecto de antena y reflejo de extensión probóscide utilizando una preparación común y Hardware convencional

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Research

JoVE Journal

Neuroscience

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees (Apis mellifera)

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees Apis mellifera

Farmacología del Comportamiento en el condicionamiento clásico de la respuesta de Extensión probóscide en abejas de la miel ( Apis mellifera)

Honeybees (Apis mellifera) are well known for their communication and orientation skills and for their impressive learning capability1,2. Because the ...

Investigación

Neurociencias

Recording Human Electrocorticographic (ECoG) Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Grabación electrocorticográfica Humanos (ECoG) Las señales de la investigación neurocientífica y en tiempo real el mapeo cortical funcional

Neuroimaging studies of human cognitive, sensory, and motor processes are usually based on noninvasive techniques such as electroencephalography (EEG), ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

Un Protocolo de Respuesta de probóscide Extensión para la Investigación de la plasticidad de comportamiento en Insectos: Aplicación a Basic, Biomédica y de Investigación Agrícola

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Real-time Electrophysiology: Using Closed-loop Protocols to Probe Neuronal Dynamics and Beyond

En tiempo real Electrofisiología: Usando protocolos de bucle cerrado para sondear neuronales Dinámica y allá

Experimental neuroscience is witnessing an increased interest in the development and application of novel and often complex, closed-loop protocols, where ...

Insect-controlled Robot: A Mobile Robot Platform to Evaluate the Odor-tracking Capability of an Insect

Robot controlado por insectos: una plataforma del robot móvil para evaluar la capacidad de seguimiento de Olor de un insecto

Robotic odor source localization has been a challenging area and one to which biological knowledge has been expected to contribute, as finding odor ...

Triggering Cell Stress and Death Using Conventional UV Laser Confocal Microscopy

Desencadenar el estrés celular y la muerte Uso convencional UV láser confocal Microscopía

Using a standard confocal setup, a UV ablation method can be utilized to selectively induce cellular injury and to visualize single-cell responses and ...

A Protocol for the Administration of Real-Time fMRI Neurofeedback Training

Un protocolo para la administración de Real-Time fMRI entrenamiento de Neurofeedback

Neurologic disorders are characterized by abnormal cellular-, molecular-, and circuit-level functions in the brain. New methods to induce and control ...

Live-cell Measurement of Odorant Receptor Activation Using a Real-time cAMP Assay

Células vivas medición de olor del Receptor activación utilizando un ensayo de campo en tiempo real

The enormous sizes of the mammalian odorant receptor (OR) families present difficulties to find their cognate ligands among numerous volatile chemicals. ...

Real-time In Vitro Monitoring of Odorant Receptor Activation by an Odorant in the Vapor Phase

En tiempo real en el seguimiento de Vitro de la activación del Receptor odorante por un olor en la fase de Vapor

Olfactory perception begins with the interaction of odorants with odorant receptors (OR) expressed by olfactory sensory neurons (OSN). Odor recognition ...

Real-Time fMRI Brain Mapping in Animals

Mapeo cerebral de resonancia magnética funcional en tiempo real en animales

Dynamic fMRI responses vary largely according to the physiological conditions of animals either under anesthesia or in awake states. We developed a ...