Flying detección de insectos y Clasificación con Sensores Barato

Resumen

Hemos propuesto un sistema que utiliza sensores de bajo costo, no invasivo pseudo-acústico ópticos de forma automática y precisa de detectar, contar y clasificar los insectos sobre la base de su sonido del vuelo.

Resumen

Un sistema de bajo costo, no invasivo que podría clasificar con precisión los insectos voladores tendría implicaciones importantes para la investigación entomológica, y permitir el desarrollo de muchas aplicaciones útiles en la lucha contra vectores y plagas, tanto para la entomología médica y agrícola. Ante esto, los últimos sesenta años han visto muchos esfuerzos de investigación dedicados a esta tarea. Hasta la fecha, sin embargo, ninguna de esta investigación ha tenido un impacto duradero. En este trabajo, se muestra que los sensores ópticos pseudo-acústicas pueden producir datos superior; que las características adicionales, tanto intrínsecos como extrínsecos al comportamiento de vuelo del insecto, se puede aprovechar para mejorar la clasificación de insectos; que un enfoque de clasificación bayesiana permite aprender de manera eficiente los modelos de clasificación que son muy robustos a exceso de ajuste, y un marco de clasificación general permite incorporar fácilmente número arbitrario de funciones. Demostramos los resultados con experimentos a gran escala que empequeñecen todas las obras anteriores CombiNED, medida por el número de insectos y el número de especies consideradas.

Introducción

La idea de clasificar automáticamente los insectos utilizando el sonido incidental de su vuelo se remonta a los primeros días de las computadoras y equipos de grabación de audio disponibles en el mercado ^1. Sin embargo, se ha avanzado poco en este problema en las décadas siguientes. La falta de avances en esta búsqueda se puede atribuir a varios factores relacionados.

En primer lugar, la falta de sensores eficaces ha hecho difícil la recogida de datos. La mayoría de los esfuerzos para recopilar datos han utilizado micrófonos acústicos ^2-5. Tales dispositivos son extremadamente sensibles a ruido del viento y el ruido ambiental en el entorno, lo que resulta en datos muy escaso y de baja calidad.

En segundo lugar, lo que agrava estos problemas de calidad de datos es el hecho de que muchos investigadores han tratado de aprender muy complicados modelos de clasificación, especialmente redes neuronales ^6-8. Intentar aprender modelos de clasificación complicados, con apenas decenas de ejemplos,es una receta para el exceso de montaje.

En tercer lugar, la dificultad de obtención de datos ha hecho que muchos investigadores han intentado construir modelos de clasificación con datos muy limitados, tan sólo 300 casos ⁹ o menos. Sin embargo, se sabe que para la construcción de modelos de clasificación precisos, más datos es mejor ^10-13.

Este trabajo aborda los tres temas. Ópticos (en lugar de acústica) sensores se pueden utilizar para grabar el "sonido" del vuelo de los insectos de metros de distancia, con la invariancia completa a ruido del viento y los sonidos ambientales. Estos sensores han permitido la grabación de millones de casos de enseñanza identificado, muchos más datos que todos los esfuerzos anteriores juntos, y así ayudar a evitar los esfuerzos de investigación anteriores exceso de ajuste que ha plagado. Un método de principio se muestra a continuación que permite la incorporación de información adicional en el modelo de clasificación. Esta información adicional puede ser tan cotidiano y tanfácil de obtener como la hora del día, y aún así producir ganancias significativas en la precisión del modelo. Por último, se demuestra que las enormes cantidades de datos que recogimos nos permiten tomar ventaja de "La irrazonable efectividad de los datos" ¹⁰ para producir clasificadores simples, precisas y robustas.

En resumen, volando clasificación de insectos se ha movido más allá de las afirmaciones dudosas creados en el laboratorio de investigación y ahora está listo para su despliegue en el mundo real. Los sensores y el software presentados en este trabajo proporcionarán los investigadores de todo el mundo herramientas sólidas para acelerar su investigación.

Protocolo

1. Insectos Colonia y Cría

1. Mosquito Colonia y Cría
   1. Tarsalis traseras pipiens, Culex quinquefasciatus, stigmatosoma Culex y Aedes aegypti adultos de colonias de laboratorio, que se originó a partir silvestres capturados individuos.
   2. Larvas de mosquitos trasero en cacerolas de esmalte en condiciones estándar de laboratorio (27 ° C, 16: 8 h luz: oscuridad ciclo [LD] con períodos atardecer / amanecer 1 hr), y les ad libitum alimentarse de una mezcla de comida para roedores de tierra y levadura de cerveza (3: 1, v: v).
   3. Recoger pupas de mosquitos en 200 ml tazas, y colocarlos en cámaras experimentales. Alternativamente, aspirar los mosquitos adultos en cámaras experimentales dentro de 1 semana de aparición. Asegúrese de que cada cámara experimental contiene entre 20 y 40 individuos de la misma especie / sexo.
   4. Alimentación ad libitum mosquitos adultos en un 10% de sacarosa y la mezcla de agua. Reemplace semanal de alimentos.
   5. Humedezca toallas de algodón dos veces por semana y plas en la parte superior de las cámaras experimentales para mantener la humedad dentro de la jaula. Además, coloque una taza de 200 ml de agua del grifo en la cámara en todo momento para ayudar a mantener el nivel general de humedad.
   6. Mantener las cámaras experimentales en un 16: 8 h luz: oscuridad ciclo [LD], 20,5-22 ° C y 30-50% de humedad relativa durante la duración del experimento.
2. Mosca y Mosca de los Frutos Colonia y Cría
   1. Musca domestica trasero de una colonia de laboratorio, derivado de individuos silvestres capturados. Atrapa salvajes simulans individuos de Drosophila y criarlos en las cámaras experimentales.
   2. Larvas de Musca domestica trasero en tinas de plástico bajo condiciones estándar de laboratorio (12:12 horas de luz: oscuridad [LD] ciclo, 26 ° C, 40% HR) en una mezcla de agua, harina de salvado, alfalfa, levadura, y leche en polvo. Larvas de Drosophila simulans traseras en una cámara de cría y ellos ad libitum se alimentan de una mezcla de podredumbrefruta.
   3. Aspirar adultos Musca domestica en cámaras experimentales dentro de 1 semana de aparición. Adultos Simulans Drosophila se puede criar directamente en las cámaras experimentales. Antes de la recolección de datos, asegúrese de que cada cámara experimental contiene no más del 10-15 Musca domestica individuo o 20-30 Simulans Drosophila individuales.
   4. Alimentar adultos de Musca domestica ad libitum en una mezcla de azúcar y leche baja en grasa seca, con acceso libre al agua. RSS adultos Drosophila simulans ad libitum con una mezcla de fruta podrida. Reemplace semanal de alimentos.
   5. Mantener cámaras experimentales en un 16: 8 h luz: oscuridad ciclo [LD], 20,5-22 ° C y 30-50% de humedad relativa durante la duración del experimento.

2. grabar sonidos avión en cámaras experimentales

1. Configuración de Cámara Experimental
   Nota: Un "c experimentalhamber "denota la jaula diseñada en nuestro laboratorio, en el que se registran los datos. El sensor es bastante barato. Cuando se construyó a granel, una puesta en marcha podría ser fabricado por menos de $ 10.
   1. Construir una cámara experimental, ya sea del tamaño más grande: 67 cm largo x 22 cm W x 24.75 cm H, o el tamaño más pequeño: 30 cm largo x 20 cm W x 20 cm H. La cámara experimental consiste en una matriz y un fototransistor línea láser que apunta a la matriz fototransistor.
      NOTA: Además, la cámara consiste en Kritter Keepers que se modifican para incluir el aparato sensor, así como un manguito conectado a una pieza de tubería de PVC para permitir el acceso a los insectos.
   2. Conecte la matriz fototransistor a un tablero electrónico. La salida de la tarjeta electrónica se alimenta en una grabadora de sonido digital y se registra como datos de audio en el formato MP3. Ver el diseño de la lógica del sensor en la Figura 1.II y una versión física de la cámara en la Figura 1.I.
   3. Modificar las tapas de las cámaras experimentales con un trozo de tela de malla colocada en el interior con el fin de evitar el escape de los insectos.
      NOTA: Cuando un insecto vuela a través del rayo láser, con las alas ocluyen parcialmente la luz, haciendo que pequeñas fluctuaciones de la luz. Las fluctuaciones de la luz son capturadas por la matriz fototransistor como cambios en la corriente, y la señal es filtrada y amplificada por el diseño personalizado tarjeta electrónica.
2. Configurar el sistema de registro de sonidos producidos por insectos voladores
   1. Conectar la cámara experimental a una fuente de alimentación. Encienda la alimentación.
   2. En la cámara experimental, encontrar las luces láser y photoarray. Alinear las luces laser de la photoarray. Para conseguir la alineación adecuada, ajustar el photoarray utilizando los imanes en el exterior de la cámara experimental que corresponden a los imanes unidos a la photoarray en el interior de la cámara hasta que la luz láser se centra en todo el photodiod individuoes.
   3. Realice dos comprobaciones de sanidad para asegurar que el sistema está configurado correctamente.
      Nota: El primer paso es asegurarse de que el sistema está encendido, todos los cables están conectados correctamente y que el láser está apuntando a la matriz de la foto. El segundo paso es llevar a cabo más controles en la alineación láser para asegurarse de que puede captar el sonido del aleteo de los insectos.
      1. Conecte los auriculares (en lugar de la grabadora) en el enchufe de audio. Sumergirse en la mano y fuera de la cámara experimental, cerca de la photoarray, para romper el plano de la luz láser. Asegúrese de que la luz láser está activado (que será un haz de luz roja) y que romper el plano de la luz un par de veces con la mano. Preste atención a los cambios en el nivel de ruido como la mano entra y sale del haz de luz. Si detecta una diferencia audible, el sensor es capaz de capturar los sonidos producidos por el movimiento de objetos grandes. Si tiene éxito, pasar a la siguiente prueba de cordura, de lo contrario, compruebe si los auriculares están conectados correctamente ysi el láser está apuntando a la photoarray. Ajuste el photoarray en consecuencia hasta que el sonido de la mano que entra y sale de la cámara experimental puede ser escuchado.
      2. Adjunte una fina pieza de cableado eléctrico a un cepillo de dientes automático. Encienda el cepillo de dientes, y hundir el cableado dentro y fuera de la cámara experimental cerca de la phototarray. Asegúrese de que la luz del láser es golpear la pieza de cableado a medida que avanza. Si detecta un cambio en la frecuencia audible, cuando la pieza de cableado rompe el plano de la luz láser, el sistema está listo para capturar los sonidos producidos por el movimiento de objetos pequeños, es decir, sonidos de insectos. Si no detecta una diferencia audible, vuelva al paso 2.2.2 para realinear las luces láser y la photoarray.
   4. Después de que el sistema está configurado correctamente, cierre la tapa y agregue los insectos.
3. Recolección de datos: Grabar sonidos producidos por insectos voladores
   1. Encienda la grabadora y hacer una Voice anotación que incluye la siguiente información: nombre de la especie en la cámara experimental, la edad de los insectos, la fecha y la hora, RT ambiente actual, y la humedad relativa. Pausa la grabación.
   2. Conecte la grabadora al sistema, a través del cable de audio, y reanudar la grabación. Deje la grabadora para grabar durante 3 días, y luego se detiene la grabación.
   3. Descargue los datos de la grabadora en una nueva carpeta en un PC. Vacíe la grabadora mediante la supresión de los datos.
   4. Repita el proceso de grabación anterior, hasta los insectos que quedan han muerto fuera y ya no hay más de 5 insectos que quedan con vida en la jaula.

Procesamiento 3. datos del sensor y la detección de sonidos producidos por insectos voladores

1. Utilice software para detectar sonidos producidos por insectos voladores.
   Nota: El software (algoritmo de detección) es mucho más rápido que en tiempo real. Se tarda menos de 3 horas para procesar una sesión de grabación, es decir, tres días de datuna, en una máquina estándar con CPU Intel (R) Core ™ en el 2,00 GHz y 8 GB de RAM.
   1. Para cada carpeta que contiene los datos de una sesión de grabación, ejecute el software de detección para detectar sonidos de insectos. Para ejecutar el software, abierto MATLAB y escriba "circandian_wbf (DataDir)" en la ventana de comandos, donde DataDir es el directorio de los datos de grabación. A continuación, pulse "Enter" para iniciar.
      NOTA: Descargue el software de detección de circadian_wbf de referencia # 16.
   2. Espere hasta que el algoritmo termina, a continuación, comprobar los resultados de la detección. El algoritmo de salidas todo el insecto detectado suena en una nueva carpeta llamada "_extf DataDir", donde DataDir es el mismo que en el paso anterior. Cada archivo de sonido es un clip de audio de largo 1 seg originalmente extraído de la grabación en bruto, con un filtro digital aplicado para eliminar el ruido. El tiempo de aparición de cada sonido detectado se guarda en un archivo llamado "DataDir _time.mat y# 8221 ;. Observe el ejemplo de un sonido de insectos detectado en la Figura 2.
2. Algoritmo de detección
   1. Use un 0,1 seg larga ventana deslizante para deslizarse a través de la grabación. La ventana corredera comienza desde el principio de la grabación. Para cada ventana, siga los pasos a continuación.
      1. Calcular la frecuencia fundamental de la ventana actual.
      2. Si la frecuencia fundamental está dentro del rango de 100 Hz a 1200 Hz, a continuación, haga lo siguiente:
         1. Extraiga el clip de audio 1-seg largo centrado en la ventana actual de la grabación; aplicar un filtro digital para eliminar el ruido en el clip y guardar el audio filtrada en la carpeta "DataDir _extf".
         2. Guarde el tiempo la aparición de la ventana actual en el archivo "DataDir _time".
         3. Mover la ventana deslizante hasta el punto que sigue inmediatamente el clip de audio extraído.
      3. Si el fr fundamentalecuencia no está dentro del rango de 100 Hz a 1200 Hz, simplemente mueva la ventana corredera 0.01 seg adelante.
   2. Repetir el proceso hasta que la ventana deslizante alcanza el final de la grabación.

4. Insectos Clasificación

1. Clasificación bayesiana utilizando sólo el sonido del vuelo
   Nota: clasificador bayesiano es un clasificador probabilístico que clasifica un objeto a su clase más probable.
   1. Característica de sonido Computación
      1. Para cada sonido de insectos, calcular el espectro de frecuencias del sonido utilizando la Transformada Discreta de Fourier (DFT). Truncar el espectro de frecuencias para incluir sólo aquellos puntos de datos correspondientes a la gama de frecuencia: 100 Hz a 2000 Hz. El espectro de frecuencias truncado se utiliza en la clasificación como el "representante" del sonido de los insectos.
         NOTA: La DFT es un algoritmo que transforma las señales en el dominio del tiempo al dominio de frecuencia. Es un Buifunción lt-in en la mayoría de bibliotecas de programación, y se puede llamar en el programa con una sola línea de código.
   2. Capacitar a un clasificador bayesiano
      1. Utilice el método de estimación de densidad kNN ¹⁴ para aprender la posterior distribución de probabilidad usando la función de sonido. Con el enfoque kNN, la fase de entrenamiento es la construcción de un conjunto de datos de entrenamiento.
         1. Aleatoriamente degustar una serie de sonidos de insectos a partir de los datos recogidos para cada especie de insectos.
         2. Siga los pasos en la Sección 4.1.1 y calcular el espectro de frecuencias truncada para cada sonido muestreado. Los espectros truncadas junto con etiquetas de clase de las muestras '(nombre de las especies de insectos) componen la formación de datos.
   3. Utilice el clasificador bayesiano para clasificar un insecto desconocido
      1. Calcular el espectro de frecuencias del sonido truncada insecto desconocido.
      2. Calcular la distancia Euclidiana entre el espectro truncada de la unknown objeto y todos los espectros truncadas en la formación de datos.
      3. Encontrar la parte superior k (k = 8 en este documento) vecinos más cercanos del objeto desconocido en la formación de datos. Calcule la probabilidad posterior de que el sonido de insecto desconocido que pertenece a una clase como la fracción de los primeros k vecinos más cercanos que se etiquetan como clase.
      4. Clasificar el objeto desconocido a la clase que tiene la más alta probabilidad posterior.
2. Añadir una función para el Clasificador: Insecto del ritmo circadiano
   1. Aprende las distribuciones de clase acondicionado de la época ocurrencia de sonido de insectos, es decir, el ritmo circadiano para cada especie de insectos.
      1. Obtener el tiempo de ocurrencia de cada sonido de los resultados de la detección (véase la sección 3.2).
      2. Para cada especie, construir un histograma del tiempo de ocurrencia de sonido de los insectos.
      3. Normalizar el histograma para que el área del histograma es uno. La normalidadhistograma zado es el ritmo circadiano de la especie dada. Cuenta la probabilidad de observar un insecto, de esa especie, en vuelo dentro de un cierto período de tiempo.
   2. Clasificar un "sonido de insectos" desconocido combinando el "sonido de insectos" y el ritmo circadiano
      1. Dado el punto específico en el tiempo en que se produjo el sonido de insectos desconocidos, obtener la probabilidad de observar un insecto de clase basada en el ritmo circadiano de la clase.
         NOTA: El ritmo circadiano es una distribución de probabilidad. Es una serie que especifica la probabilidad de detectar un sonido, producido por una especie específica de insectos, en un momento específico del día. Así que una vez que se le da un tiempo, uno puede simplemente comprobar la matriz para obtener la probabilidad.
      2. Siga los pasos de la sección 4.1.2 para calcular la probabilidad posterior de que el sonido desconocido pertenece a clase con las características de sonido. Multiplique la probabilidad posterior de los resultados from el paso anterior para obtener el nuevo probabilidad posterior.
      3. Clasificar el "sonido desconocido" a la clase que tiene el mayor nuevo probabilidad posterior.
3. Añadir una característica más del clasificador: Distribución geográfica de insectos
   1. Aprenda la distribución geográfica de las especies de interés, ya sea a partir de datos publicados en los registros históricos, la literatura relevante, o simplemente reunir el conocimiento de primera mano de campo técnicos / biólogos. Para fines de demostración, utilice una simulación de la distribución de gráfico, como se muestra en la Figura 7.
   2. Clasificar un "sonido de insectos desconocidos" usando "sonido volando" y las dos características adicionales.
      1. Dada la ubicación geográfica en la que fue recibido el sonido de insectos, calcular la probabilidad de observar un insecto de la clase en esa ubicación específica utilizando el gráfico de distribución de especies.
         1. Siga los pasos en la sección 4.2.2 and calcular la probabilidad posterior de que el "sonido desconocido" pertenece a la clase de uso de las funciones de sonido y los ritmos circadianos. Multiplicar el resultado de este paso para los resultados de la etapa anterior, con el fin de obtener la nueva probabilidad posterior.
      2. Clasificar el "sonido desconocido" a la clase que tiene el mayor nuevo probabilidad posterior.
4. Un marco general para la Adición de funciones
   1. Considere el clasificador bayesiano que utiliza sólo las características de sonido como el clasificador primario. Siga los pasos de abajo para agregar nuevas características para el clasificador.
      1. En la fase de entrenamiento, aprender las funciones de densidad de clase acondicionado de la nueva característica.
      2. En la fase de clasificación, teniendo en cuenta la nueva característica del "sonido desconocido", calcular la probabilidad de observar la característica en clase utilizando las funciones de densidad aprendidas en el paso anterior. Multiplique la nueva probabilidad a la previous probabilidad posterior correspondiente al "sonido desconocido" perteneciente a la clase que se calcula en base a sólo las características impares, para obtener la nueva probabilidad posterior. Clasificar el objeto desconocido a la clase que tiene más alta nueva probabilidad posterior.

Resultados

Dos experimentos se presentan aquí. Para ambos experimentos, los datos utilizados se tomaron muestras al azar de un conjunto de datos que contiene más de 100.000 objetos.

El primer experimento muestra la capacidad del clasificador propuesto para clasificar con precisión diferentes especies / sexos de insectos. A medida que la precisión de la clasificación depende de los insectos para ser clasificado, un único valor absoluto para la precisión de la clasificación no le dará al lector ...

Discusión

El marco del sensor / clasificación descrita aquí permite la clasificación de bajo costo y escalable de insectos voladores. Las precisiones alcanzables por el sistema son suficientes para permitir el desarrollo de productos comerciales bien y podría ser una herramienta útil en la investigación entomológica.

La capacidad de utilizar, sensores no invasivos de bajo costo para clasificar con precisión y de forma automática los insectos voladores tendría implicaciones significativas par...

Materiales

Name	Company	Catalog Number	Comments
Name of Material/ Equipment	Company	Catalog Number	Comments/Description
Audio Recorder: ICD-PX312	Sony	4-267-065-11(2)	With a 8 GB microSD extra memory
Insectary	Lee's Aquarium & Pet Products.	20088 HerpHaven®, Large Rectangle	14 1/2" Long x 8 3/4" Wide x 9 3/4" high. Modified to house insects.
Laser Line Generator, 650nm (red)	Apinex (www.apinex.com)	LN60-650	5mW. This is a low powered laser, similar to a teachers lasers pointer
Photodiode Array	VISHAY SEMICONDUCTOR  TEFD4300  PIN PHOTODIODE, 650NM, 20DEG, T1	TEFD4300	We made a custom array of 15 of these Photodiodes wired in parallel
Analogue to Digital Convertor Integrated Circuit	Custom made in our lab		We made this item ourselves, but an easily available commercial product, Gino PCF8591 AD/DA Converter, provides the same functionality.