Vôo Detecção e Classificação Insect com sensores baratos

Resumo

Propusemos um sistema que utiliza sensores de pseudo-acústico de baixo custo, não invasivo ópticos para detectar automaticamente e com precisão, contar e classificar insetos voadores com base em seu som de vôo.

Resumo

Um sistema de baixo custo, não invasivo e que poderia classificar com precisão insetos voadores teria implicações importantes para a pesquisa entomológica, e permitir o desenvolvimento de muitas aplicações úteis no vetor e controle de pragas, tanto para entomologia médica e agrícola. Diante disso, nos últimos 60 anos tenho visto muitos esforços de pesquisa dedicados a esta tarefa. Até o momento, no entanto, nada disto pesquisa teve um impacto duradouro. Neste trabalho, mostramos que os sensores ópticos pseudo-acústico pode produzir dados superior; que recursos adicionais, tanto intrínsecos e extrínsecos ao comportamento de voo do inseto, pode ser explorada para melhorar a classificação de insetos; que uma abordagem de classificação bayesiana permite aprender de forma eficiente modelos de classificação que são muito robustos para o excesso de encaixe, e uma estrutura de classificação geral permite incorporar facilmente número arbitrário de recursos. Nós demonstramos os resultados de experimentos em grande escala que anão todos os trabalhos anteriores combinido, como medida pelo número de insectos e o número de espécies consideradas.

Introdução

A idéia de classificar automaticamente insetos usando o som incidental de seu vôo remonta aos primeiros dias de computadores e disponível no mercado equipamentos de gravação de áudio: ^1. No entanto, pouco progresso foi feito sobre este problema nas décadas intervenientes. A falta de progresso nesta busca pode ser atribuída a vários fatores relacionados.

Em primeiro lugar, a falta de sensores eficazes tornou difícil a recolha de dados. A maioria dos esforços para coletar dados usaram microfones acústicos ^2-5. Tais dispositivos são extremamente sensíveis a ruídos de vento e ruído ambiente no meio ambiente, resultando em dados muito esparsas e de baixa qualidade.

Em segundo lugar, agravando esses problemas de qualidade dos dados é o fato de que muitos pesquisadores têm tentado aprender modelos de classificação muito complicada, principalmente redes neurais ^6-8. Tentando aprender modelos de classificação complicadas, com apenas dezenas de exemplos,é uma receita para o excesso de montagem.

Em terceiro lugar, a dificuldade de obtenção de dados fez com que muitos pesquisadores têm tentado construir modelos de classificação com dados muito limitados, como poucos como 300 casos ⁹ ou menos. No entanto, sabe-se que para a construção de modelos de classificação precisos, mais dados melhor ^10-13.

Este trabalho aborda as três questões. Sensores ópticos (em vez de acústica) pode ser usado para gravar o "som" do vôo de insetos de metros de distância, com invariância completa a ruídos de vento e sons do ambiente. Estes sensores têm permitido a gravação de milhões de casos de treinamento rotulados, muito mais dados do que todos os esforços anteriores combinados, e, assim, ajudar a evitar o excesso de montagem que tem atormentado os esforços de investigação anteriores. Um método de princípio é mostrado abaixo, que permite a incorporação de informação adicional sobre o modelo de classificação. Esta informação adicional pode ser tão cotidiano e comofácil de obter como a hora do dia, e ainda assim produzir ganhos significativos na precisão do modelo. Por fim, demonstra-se que as enormes quantidades de dados foram coletados nos permitem tirar partido de "A efetividade irracional de dados" ¹⁰ para produzir classificadores simples, precisos e robustos.

Em resumo, voando classificação inseto foi além das reivindicações duvidosas criados no laboratório de pesquisa e agora está pronto para a implantação do mundo real. Os sensores e software apresentados neste trabalho irá fornecer aos pesquisadores em todo o mundo ferramentas robustas para acelerar suas pesquisas.

Protocolo

1. Insect Colony e Criação

1. Mosquito Colony e Criação
   1. Tarsalis traseiros Culex, Culex quinquefasciatus stigmatosoma Culex e Aedes aegypti adultos de colônias de laboratório, que se originou a partir de selvagens capturados indivíduos.
   2. Larvas do mosquito traseiro em panelas de esmalte sob condições padrão de laboratório (27 ° C, 16: 8 horas de luz: escuro ciclo [LD] com 1 hora e períodos Crepúsculo / Madrugada), e alimentá-los à vontade em uma mistura de roedor chão ração e levedura de cerveja (3: 1, v: v).
   3. Colete mosquito pupas em 200 ml copos, e colocá-los em câmaras experimentais. Como alternativa, aspirar os mosquitos adultos em câmaras experimentais dentro de 1 semana de emergência. Certifique-se que cada câmara experimental contém de 20 a 40 indivíduos da mesma espécie / sexo.
   4. Mosquitos adultos ração à vontade em um sacarose 10% e mistura de água. Troque semanalmente alimentos.
   5. Umedeça toalhas de algodão duas vezes por semana e place-los no topo das câmaras experimentais para manter a humidade no interior da gaiola. Além disso, colocar um copo de 200 ml de água da torneira na câmara em todos os momentos para ajudar a manter o nível de humidade total.
   6. Manter as câmaras experimentais sobre uma 16: 8 hr de luz: escuro [DL] ciclo, 20,5-22 ° C e 30-50% de HR durante a duração da experiência.
2. Mosca da casa e Fruit Fly Colony e Criação
   1. Musca domestica traseira de uma colônia de laboratório, derivado de selvagens capturados indivíduos. Pegar selvagens Drosophila simulans indivíduos e criá-los em câmaras experimentais.
   2. Larvas de Musca domestica traseira em tubos de plástico, em condições normais de laboratório (0:12 horas de luz: escuro [DL] ciclo, 26 ° C, 40% HR) numa mistura de água, farinha de farelo, alfafa, de levedura, e leite em pó. Larvas de Drosophila simulans traseiros em estufas de criação e alimentá-los à vontade em uma mistura de podridãofruta.
   3. Aspirar adulto Musca domestica em câmaras experimentais dentro de 1 semana de emergência. Adulto Drosophila simulans podem ser criados diretamente nas câmaras experimentais. Antes da coleta de dados, certifique-se cada câmara experimental contém não mais do que 10-15 Musca domestica indivíduo ou 20-30 individuais Drosophila simulans.
   4. Musca domestica adulta alimentação ad libitum, com uma mistura de açúcar e de leite desnatado seco, com livre acesso à água. Alimentação adulto Drosophila simulans ad libitum em uma mistura de frutas podres. Troque semanalmente alimentos.
   5. Manter câmaras experimentais em 16: 8 horas de luz: escuro [LD] ciclo, 20,5-22 ° C e 30-50% de umidade relativa durante o período do experimento.

2. Registre vôo Sounds em câmaras experimentais

1. Configuração Experimental Câmara
   Nota: Um "c experimentalHamber "indica a gaiola concebidos no nosso laboratório, em que os dados foram gravados. O sensor é bastante barato. Quando construído no volume, um set-up poderia ser fabricado por menos de US $ 10.
   1. Construir uma câmara experimental, ou de maior tamanho: 67 cm x 22 cm L W x 24,75 centímetros H, ou o tamanho menor: 30 cm de comprimento x 20 cm x 20 cm W H. A câmara experimental é constituído por uma matriz e um fototransistor linha de laser apontando para a matriz fototransistor.
      NOTA: Para além disso, a câmara é constituída por Kritter depositários que são modificadas para incluir o aparelho sensor, assim como uma manga ligada a uma peça de tubagem de PVC para permitir o acesso para os insectos.
   2. Ligue a matriz phototransistor para uma placa eletrônica. A saída da placa eletrônica alimenta um gravador de som digital e é registrado como dados de áudio no formato MP3. Ver o desenho lógica do sensor na Figura 1.II e um suporte físico da câmara da Figura 1.I.
   3. Modificar as tampas das câmaras experimentais, com um pedaço de tecido de malha de aposta para o interior, a fim de impedir a fuga dos insectos.
      NOTA: Quando um insecto voa através do feixe de laser, as asas ocluir parcialmente a luz, fazendo pequenas variações ligeiras. As flutuações ligeiras são capturados pela matriz fototransistor como alterações na corrente, e o sinal é filtrado e amplificado pelo projetados placa electrónica.
2. Configurar o sistema para gravar sons produzidos por insetos voadores
   1. Ligue a câmara experimental para uma fonte de alimentação. Ligue o aparelho.
   2. Na câmara experimental, encontrar as luzes de laser e photoarray. Alinhe as luzes de laser para o photoarray. Para conseguir o alinhamento correcto, ajustar o photoarray usando os magnetos do lado de fora da câmara experimental, que correspondem aos ímans fixos ao photoarray no interior da câmara até que a luz laser é centrada em todo o indivíduo photodiodes.
   3. Execute duas checagens para verificar se o sistema está configurado corretamente.
      Nota: O primeiro passo é ter certeza de que o sistema é ligado, todos os fios estão conectados corretamente e que o laser está apontando para a matriz da foto. O segundo passo é a realização de verificações complementares sobre o alinhamento a laser para garantir que ele pode capturar o som de wingbeats dos insetos.
      1. Conecte fones de ouvido (e não o gravador) à tomada de áudio. Mergulha mão dentro e para fora da câmara experimental, perto da photoarray, para quebrar o plano da luz laser. Verifique se a luz laser é ligado (ele vai ser um feixe de luz vermelha) e que você quebrar o plano da luz algumas vezes com a mão. Ouvir para alterações no nível de ruído, pois a mão entra e sai do feixe de luz. Se você detectar uma diferença audível, o sensor é capaz de captar sons produzidos pelo movimento de objetos grandes. Se for bem sucedido, passe para a próxima verificação de sanidade, caso contrário, verifique se o fone de ouvido está conectado corretamente ese o laser está apontando para a photoarray. Ajuste o photoarray de acordo até o som da mão movendo-se para dentro e para fora da câmara experimental pode ser ouvido.
      2. Fixe um pedaço fino de fiação elétrica para uma escova de dentes automática. Ligue a escova de dentes, e mergulhar a fiação dentro e fora da câmara experimental perto do phototarray. Verifique se a luz laser é bater a parte de fiação como ele se move. Se detectar uma mudança de frequência audível, quando a peça de fiação quebra o plano da luz laser, o sistema é, em seguida, pronto para captar os sons produzidos pelo movimento de pequenos objectos, isto é, os sons de insectos. Se você não detectar uma diferença audível, volte para o passo 2.2.2 para realinhar as luzes de laser e do photoarray.
   4. Depois que o sistema está configurado corretamente, feche a tampa e acrescente os insetos.
3. Coleta de dados: Grave sons produzidos por insetos voadores
   1. Ligue o gravador e fazer uma voice anotação que inclui as seguintes informações: nome da espécie na câmara experimental, a idade dos insetos, data e hora, RT ambiente atual, e umidade relativa. Pausar a gravação.
   2. Ligue o gravador ao sistema, através do cabo de áudio e continuar a gravação. Deixe o gravador para gravar durante 3 dias, em seguida, parar a gravação.
   3. Faça o download dos dados do gravador em uma nova pasta em um PC. Esvazie o gravador de apagar os dados.
   4. Repita o processo de gravação acima, até que os insetos restantes morreram fora e já não há mais de 5 insetos deixados vivos na gaiola.

Processamento de Dados 3 Sensor e Detecção de sons produzidos por insetos voadores

1. Use software para detectar sons produzidos por insetos voadores.
   Nota: O software (algoritmo de detecção) é muito mais rápido do que o tempo real. Demora menos de 3 horas para processar uma sessão de gravação, ou seja, três dias de datum, em uma máquina de fábrica com CPU Intel (R) Core ™ em 2.00 GHz e 8 GB de RAM.
   1. Para cada pasta que contém os dados de uma sessão de gravação, execute o software de detecção para detectar os sons de insetos. Para executar o software, abra o MATLAB e digite "circandian_wbf (DataDir)" na janela de comando, onde DataDir é o diretório de dados de gravação. Em seguida, pressione "Enter" para iniciar.
      NOTA: Faça o download do software de detecção circadian_wbf de referência # 16.
   2. Aguarde até que o algoritmo termina, em seguida, verificar os resultados de detecção. As saídas de todo o algoritmo de insectos sons detectados em uma nova pasta chamada "DataDir _extf", onde DataDir é o mesmo que no passo anterior. Cada ficheiro de som é um 1 seg longo clipe de áudio originalmente extraído a partir da gravação em bruto, com um filtro digital aplicada para eliminar o ruído. O tempo de ocorrência de cada som detectado é salvo em um arquivo chamado "DataDir _time.mat &# 8221 ;. Observar o exemplo de som de insecto detectado na Figura 2.
2. Algoritmo de Detecção
   1. Use a 0,1 seg janela longo deslizante para deslizar através da gravação. A janela deslizante é iniciado a partir do início da gravação. Para cada janela, siga os passos abaixo.
      1. Calcule a freqüência fundamental da janela atual.
      2. Se a frequência fundamental está dentro da faixa de 100 Hz a 1200 Hz, em seguida, faça o seguinte:
         1. Extraia o clipe de áudio 1-seg longo centralização na janela atual da gravação; aplicar um filtro digital para remover o ruído no clipe e salvar o áudio filtrada para a pasta "DataDir _extf".
         2. Poupe o tempo ocorrência da janela atual para o arquivo "DataDir _time".
         3. Mover a janela deslizante para o ponto que se segue imediatamente o clipe de áudio extraídos.
      3. Se o fr fundamentaisequency não está dentro da faixa de 100 Hz a 1.200 Hz, basta mover a janela deslizante 0,01 seg adiante.
   2. Repetir o processo até que a janela deslizante alcance o fim da gravação.

4. Insect Classificação

1. Classificação Bayesiana usando apenas o vôo de som
   Nota: classificador Bayesiana é um classificador probabilístico que classifica um objeto de sua classe mais provável.
   1. Computação recurso de som
      1. Para cada som inseto, calcular o espectro do som usando Transformada Discreta de Fourier (DFT) de freqüência. Truncar o espectro de freqüência para incluir apenas os pontos de dados correspondentes à faixa de freqüência: 100 Hz a 2.000 Hz. O espectro de freqüência truncada é então utilizado na classificação como o "representante" do som do inseto.
         NOTA: O DFT é um algoritmo que transforma os sinais em domínio tempo para o domínio da frequência. É um buifunção lt-in na maioria das bibliotecas de programação, e pode ser chamado no programa com apenas uma linha de código.
   2. Treinar um classificador bayesiano
      1. Use o método de estimativa de densidade kNN ¹⁴ para saber a distribuição de probabilidade posterior usando o recurso de som. Com a aproximação kNN, a fase de treinamento é a construção de um conjunto de dados de treinamento.
         1. Aleatoriamente provar uma série de sons de insetos a partir dos dados coletados para cada espécie de insetos.
         2. Siga os passos da Seção 4.1.1 e calcular o espectro de frequências truncado para cada som amostrado. Os espectros truncadas juntamente com rótulos de classe das amostras (nome da espécie do inseto) compôs o conjunto de dados de treinamento.
   3. Use o classificador Bayesiana para classificar um inseto desconhecido
      1. Calcule o espectro de frequências truncada do som inseto desconhecido.
      2. Calcule a distância euclidiana entre o espectro truncada do desconhecidon objeto e todos os espectros truncadas no conjunto de dados de treinamento.
      3. Encontre o top k (k = 8 neste artigo) vizinhos mais próximos do objeto desconhecido no conjunto de dados de treinamento. Calcular a probabilidade posterior do som inseto desconhecido pertencente a uma classe como a fracção dos melhores k vizinhos mais próximos que estejam rotulados como classe.
      4. Classificar o objeto desconhecido para a classe que tem a maior probabilidade posterior.
2. Adicionar um recurso para o Classificador: Insect ritmo circadiano
   1. Saiba as distribuições condicionado de classe da época ocorrência de som de insetos, ou seja, o ritmo circadiano para cada espécie de insetos.
      1. Encontre o tempo de ocorrência de cada som a partir dos resultados de detecção (cf. Secção 3.2).
      2. Para cada espécie, construir um histograma de ocorrência do tempo de som de insectos.
      3. Normalizar o histograma de modo que a área do histograma é um. O normaisizado histograma é o ritmo circadiano da espécie dada. Ele conta a probabilidade de observar um inseto, de que as espécies, em vôo dentro de um determinado período de tempo.
   2. Classifique um desconhecido "inseto som", combinando o "inseto som" eo ritmo circadiano
      1. Dado o momento específico em que ocorreu o som inseto desconhecido, obter a probabilidade de observar um inseto de classe com base no ritmo circadiano de classe.
         NOTA: O ritmo circadiano é uma distribuição de probabilidade. É uma matriz que especifica a probabilidade de detectar um som, produzido por uma determinada espécie de insetos, em um momento específico do dia. Assim, uma vez é dado um tempo, pode-se simplesmente verificar a matriz para obter a probabilidade.
      2. Siga as etapas na seção 4.1.2 para calcular a probabilidade posterior de que o som desconhecido pertence à classe usando os recursos de som. Multiplique a probabilidade posterior aos resultados froSou o passo anterior para obter a nova probabilidade posterior.
      3. Classificar o "som desconhecido" para a classe que tem a maior probabilidade de nova posterior.
3. Adicionar One More facilidade à Classificador: Insect Distribuição Geográfica
   1. Aprenda a distribuição geográfica das espécies de interesse, quer a partir de dados publicados em registros históricos, literatura relevante, ou simplesmente reunir o conhecimento de primeira mão de campo técnicos / biólogos. Para fins de demonstração, usar uma simulação da distribuição gráfico, como mostrado na Figura 7.
   2. Classificar um "som inseto desconhecido" usando "som voando" e os dois recursos adicionais.
      1. Dada a localização geográfica de onde o som do inseto foi interceptado, calcular a probabilidade de observar um inseto da classe naquele local específico, usando a distribuição gráfica de espécies.
         1. Siga os passos na seção 4.2.2 and calcular a probabilidade posterior de que o "som desconhecido" pertence à classe usando os recursos de som e os ritmos circadianos. Multiplicar o resultado desta etapa para os resultados da etapa anterior, a fim de obter o novo probabilidade posterior.
      2. Classificar o "som desconhecido" para a classe que tem a maior probabilidade de nova posterior.
4. Um quadro geral que permite adicionar recursos
   1. Considere o classificador bayesiano que utiliza apenas recursos de som como o classificador primário. Siga os passos abaixo para adicionar novos recursos ao classificador.
      1. Na fase de treinamento, aprender as funções de densidade de ar-classe do novo recurso.
      2. Na fase de classificação, dada a novidade do "som desconhecido", calcular a probabilidade de observar o recurso em sala de aula usando as funções de densidade aprendidas na etapa anterior. Multiplicar a nova probabilidade de o prprobabilidade posterior evious correspondente ao "som desconhecido" pertencente a classe que foram calculados com base apenas nas características ímpares, para obter a nova probabilidade posterior. Classificar o objeto desconhecido para a classe que tem a maior probabilidade de nova posterior.

Resultados

Dois experimentos são apresentados aqui. Em ambos os experimentos, os dados utilizados foram coletados aleatoriamente a partir de um conjunto de dados que contém mais de 100.000 objetos.

A primeira experiência mostra a capacidade do classificador proposto classificar com precisão diferentes espécies / sexos dos insectos. Como a precisão da classificação depende dos insetos para ser classificado, um único valor absoluto para a precisão da classificação não vai dar ao leitor uma b...

Discussão

A estrutura do sensor / classificação descrita aqui permite a classificação de baixo custo e escalável de insetos voadores. As precisões alcançáveis ​​pelo sistema são bons o suficiente para permitir o desenvolvimento de produtos comerciais e pode ser uma ferramenta útil na investigação entomológica.

A habilidade de usar sensores de baixo custo, não-invasivos com precisão e automaticamente classificar insetos voadores teria implicações significativas para a pesquisa ento...

Materiais

Name	Company	Catalog Number	Comments
Name of Material/ Equipment	Company	Catalog Number	Comments/Description
Audio Recorder: ICD-PX312	Sony	4-267-065-11(2)	With a 8 GB microSD extra memory
Insectary	Lee's Aquarium & Pet Products.	20088 HerpHaven®, Large Rectangle	14 1/2" Long x 8 3/4" Wide x 9 3/4" high. Modified to house insects.
Laser Line Generator, 650nm (red)	Apinex (www.apinex.com)	LN60-650	5mW. This is a low powered laser, similar to a teachers lasers pointer
Photodiode Array	VISHAY SEMICONDUCTOR  TEFD4300  PIN PHOTODIODE, 650NM, 20DEG, T1	TEFD4300	We made a custom array of 15 of these Photodiodes wired in parallel
Analogue to Digital Convertor Integrated Circuit	Custom made in our lab		We made this item ourselves, but an easily available commercial product, Gino PCF8591 AD/DA Converter, provides the same functionality.