Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

JB, SMC e RCG foram apoiadas pelo NIH R01MH1006674 para SMC e NIH R01EB021711 a RCG. CMJ e BHS foram apoiados pelo projeto de laboratório de ideias de NSF diante "Decifrando o código olfativo" a BHS. Agradecemos a Kyle Steinmetz, Taryn Oboyle e Rachael Halby por sua ajuda na realização desta pesquisa.

1. capturar e aproveitar o mel de abelhas
<ol>
	<li>Siga os passos do protocolo 1 a 3.1.1 de Smith e peso59.</li>
</ol>
2. preparar o Animal arnês e a câmara de vídeo
<ol>
	<li>Esconda as pernas aplicando a fita sobre a parte superior do tubo de arreios, inspecionar visualmente as pernas não podem ser vistas em movimento de cima.</li>
	<li>Conter a cabeça aplicando a cera aquecida na parte de trás da cabeça do inseto. Inspecione visualmente que a cabeça é fixo e não em movimento. Neste ponto, as antenas e as mandíbulas devem ser os único apêndices livres para se mover.</li>
	<li>Maximize o contraste entre as antenas e a fundo colocando uma folha branca de papel debaixo do arnês inseto. Para minimizar a necessidade de mais tarde, ajustar a câmera, marca o local do arnês inseto no papel e em seguida coloque novos indivíduos no mesmo local.</li>
	<li>Corrigi a posição da câmera usando um tripé ou um suporte de webcam para colocar a câmera acima da cabeça do inseto. Usando o software da câmera, Visualizar o vídeo e zoom para ampliar a imagem principal, permitindo um afastamento de ~ 20-30% de todos os lados do vídeo.<ol>
		<li>Certifique-se que os únicos objetos em movimento na visão da câmera são as antenas ou as narigudo/mandíbulas e reposicione a câmera ou o animal, se necessário. Nota: SwarmSight verifica movimento em pixels em torno da cabeça. Movimento de estranho nas imediações da cabeça causada por objectos, tais como pernas, sombras, fãs ou os seres humanos podem confundir o software e introduzir ruído adicional.</li>
	</ol>
	</li>
	<li>Minimize as sombras antena ajustando a iluminação ambiente. Nota: O software pode tolerar algumas sombras, mas para obter melhores resultados, devem ser mantidos a um mínimo.</li>
	<li>Evitar que os ajustes de exposição automática da câmera usando o software de velocidade de obturador de câmera para manter o tempo de exposição da câmera constante durante todo o vídeo. Usando o software, ajustar a velocidade do obturador para maximizar o contraste (cena de vídeo não muito clara ou muito escura), ajustando o 'controle deslizante de exposição' em 'Configurações de Webcam'. Nota: As instruções acima são específicas para a webcam e software utilizado. Estas precisará ser adaptado se outras webcams são usados.</li>
	<li>Coloque a fonte de entrega de odor e certifique-se de que ele não obstrua a visão da câmera inspecionando o feed de vídeo de câmera. Certifique-se de que uma fonte de vácuo é colocada no lado oposto para remover os odores de estímulo.</li>
	<li>Coloque um LED, ou algum outro indicador visual que muda o brilho para indicar a entrega de odor, dentro da visão da câmera. Nota: O valor de brilho do LED é salvo pelo software e pode ser usado para determinar os exatos quadros quando entrega o odor começa e termina.</li>
</ol>
3. filme cada indivíduo sob condições experimentais
<ol>
	<li>Cada condição individual de inseto e teste em vídeo separado arquivos por cada combinação de teste individual de gravação separadamente ou usando a edição software para dividir um arquivo de vídeo em arquivos menores. Nota: O software requer que o usuário localizar a posição da cabeça em cada vídeo e para a cabeça permaneça fixa. Se a cabeça se move, ruído adicional será introduzido. O recurso de processamento em lote de SwarmSight permite ao usuário definir rapidamente o local da cabeça de vários vídeos e pressupõe que o inseto cabeça permanece fixa para a duração de cada arquivo de vídeo. Instruções sobre como dividir arquivos de vídeo podem ser encontradas on-line60.</li>
</ol>
4. a análise
<ol>
	<li>Baixe e instale o módulo 'Rastreamento de antena', seguindo as etapas fornecidas on-line58. Nota: Video Tutoriais descrevendo como usar o software estão disponíveis no site também.</li>
	<li>Abra um arquivo de vídeo mostrando um animal filmado usando o botão 'Procurar'.</li>
	<li>Posicionamento da antena sensor e sensor de tratamento
	<ol>
		<li>Uma vez que o vídeo carrega, posicione o widget "Sensor de antena" retangular sobre a cabeça do animal, usando os ícones de rotação e escala para alinhar o widget com a cabeça (ver Figura 1 , por exemplo).</li>
		<li>Posicione o widget "Sensor de tratamento" circular sobre o LED que indica quando o odor ou estímulo está sendo apresentado. Nota: O Sensor de tratamento irá gravar o valor de brilho do pixel no centro do widget para cada quadro.</li>
	</ol>
	</li>
	<li>Iniciar o processamento de vídeo
	<ol>
		<li>Pressione o botão "Play" (triângulo preto) no canto inferior esquerdo para iniciar a análise dos quadros. Nota: Os detectado provável antena e narigudo pontos serão realçado amarelo. Os anéis amarelos irão mostrar a localização das dicas dos apêndices. Os ângulos (onde 0 é diretamente na frente do animal) da antena e o comprimento de extensão de narigudo serão mostrados no widget "Modelo" no canto inferior esquerdo (ver Figura 1). O widget "Sectores dominantes" no canto inferior direito mostrará a intensidade relativa dos 36 graus cinco sectores onde se detectaram os maioria dos pontos de antena. Os setores mais escuros contêm o maior número de pontos, enquanto o mais leve tem o menor número. O número de setor (1-5), com mais pontos será mostrado no canto inferior do widget (ver Figura 1).</li>
	</ol>
	</li>
	<li>Ajustando limites de filtro e adicionando as zonas de exclusão
	<ol>
		<li>Para alterar a sensibilidade dos filtros, ajuste sliders na seção "Filtros", no painel direito. Nota: Dependendo das condições de iluminação e velocidade de movimento geral dos apêndices, sensibilidades diferentes filtro será ideais. O usuário pode encontrar os valores ideais ajustando os valores e observando as áreas destacadas no widget Sensor de antena. Quando for encontrado um conjunto ideal de sensibilidades, serão destacados apenas os apêndices. É aconselhável avançar rapidamente para outras partes do vídeo para assegurar que as sensibilidades de filtro são os melhores, também.</li>
		<li>Opcionalmente, para ignorar a objetos estranhos, no painel direito, expanda a seção de "Sensor de antena", clique a zona de exclusão"Adicionar" botão (ver Figura 1) e clique em um conjunto de pontos para formar um polígono vermelho, cujo conteúdo será ignorado pelo software. Nota: Se o vídeo contém movimentos estranhos, e o movimento é na zona do widget Sensor de antena (por exemplo, mover as pernas fortes sombras, equipamento de laboratório, etc.), o software pode confundi-lo para o movimento de apêndice.</li></ol></li></ol>Os objetos estranhos podem ser ignorados pelo desenho vermelhos polígonos ou "Zonas de exclusão". Tudo dentro de um polígono vermelho não será usado para rastreamento.
	
	
	<li>Salvar os resultados
	<ol>
		<li>Uma vez que os filtros e widgets foram criados, parar o vídeo, reiniciá-lo desde o início e jogá-lo até o fim. Nota: Uma vez que o vídeo inteiro tem desempenhado, as posições dos apêndices para todos os quadros de vídeo serão armazenadas na memória.</li>
		<li>Para salvar os dados de posição do apêndice em um arquivo, expanda a seção de "Salvar" no lado direito e clique em "Save para. Botão CSV". Em seguida, escolha uma pasta para salvar o arquivo. Nota: A "salvar em. Botão CSV"vai salvar os resultados do processamento de um arquivo. csv. Por padrão, o usuário será oferecido para salvar o arquivo CSV na mesma pasta que o arquivo de vídeo e terá uma data e hora como parte do nome do arquivo. O arquivo CSV resultante conterá um conjunto de colunas que contêm informações sobre a posição dos apêndices, incluindo os ângulos de antena e sectores dominantes, bem como orientação e posição da cabeça. A descrição de cada coluna é fornecida on-line61.</li>
		<li>Opcionalmente, use os campos de valor (es) e colunas (s) na seção salvar para criar uma coluna extra (ou mais se separados por vírgulas) no arquivo. csv para registrar informações, tais como ID do assunto ou o nome de uma condição experimental. Nota: O valor na caixa de coluna (s) irá aparecer no cabeçalho da primeira coluna e o valor na caixa valor (es) será repetido em todas as linhas da primeira coluna.</li>
	</ol>
	</li>
	<li>Processamento em lote Nota: O software pode processar vários arquivos de vídeo em um lote. No entanto, o usuário deve fornecer as informações de localização de cabeça para cada vídeo antes de iniciar o lote.<ol>
		<li>No painel da direita, na seção "Arquivos de vídeo", clique no botão "Batch Processing" para abrir uma janela que permite a criação de uma lista de arquivos de vídeo para serem processados sequencialmente pelo software.</li>
		<li>Use o botão "Adicionar mais vídeo arquivos de lote" para selecionar um ou mais arquivos de vídeo para ser incluído na lista de lote.</li>
		<li>Opcionalmente, use as teclas "CTRL" ou "SHIFT" para selecionar vários vídeos que usarão o mesmo conjunto de parâmetros de widget. Nota: Bons candidatos para reutilização de parâmetro são conjuntos de vídeos do mesmo animal que não foram transferidos entre diferentes condições experimentais.</li>
		<li>Começa a estabelecer os parâmetros de widget a ser usado para os vídeos selecionados clicando no botão "Definir Sensor posições para selecionados".</li>
		<li>Ajustar os parâmetros no antena Sensor, Sensor de tratamento, filtros, ou salvar seções e clique em "Salvar parâmetros de lote" quando terminar.</li>
		<li>Uma vez que os parâmetros para cada vídeo foram selecionados, inicie o processo de lote clicando no botão "Iniciar processamento". Nota: O software irá carregar os arquivos de vídeo na ordem em que eles aparecem na lista de lote, processá-los em salvar seus arquivos. csv correspondente para a mesma pasta onde se encontram os arquivos de vídeo. Uma barra de progresso no topo irá fornecer um tempo de chegada estimado após o primeiro vídeo foi concluído.</li>
	</ol>
	</li>

Os autores declaram que eles têm não tem interesses financeiro concorrente.

O método apresentado aqui permite rastreamento em tempo real dos movimentos da antena e narigudo insetos sem a necessidade de hardware ou preparações especiais de animais.
Limitações:
Apesar dessas vantagens, existem algumas limitações do método. Estes incluem a exigência de que a cabeça do animal é restrito de movimento, a necessidade do usuário selecionar a localização e orientação do animal para cada vídeo, a exigência de ter acesso a um computador com Windows e a incapacidade do software para controlar movimento em três dimensões (3D) e em algumas posições de apêndice visualmente ambígua descritas abaixo.
O software requer que a cabeça do animal é fixo no lugar e não se move durante o vídeo. Isto é semelhante para os preparativos de anterior trabalho48,,49,50,51. É possível modificar o software para permitir a detecção automática de cabeça rotações, no entanto, isto teria consomem tempo de processamento adicional e introduzir uma nova fonte de erro. Se o software modificado detectar a rotação da cabeça incorretamente, isso afetaria os ângulos de antenas, como a computação é relativo para o ângulo de rotação de cabeça. Atualmente, o usuário seleciona a orientação da cabeça uma vez por vídeo. Esta abordagem, embora não sem erro humano, minimiza erros de cálculo do ângulo quando a cabeça não tem permissão para mover-se durante o vídeo.
O software também requer um Windows 7 (ou posterior) sistema operacional (SO). O objetivo era tornar o software fácil de instalar, configurar e usar pelos usuários, sem programação ou sofisticadas habilidades de administração de computador. Nós decidimos Windows alvo porque é amplamente disponível, e em casos onde o acesso é limitado, máquinas virtuais (por exemplo, VirtualBox, VMware, Parallels) com Windows podem ser facilmente criadas. Esta escolha de sistema operacional extremamente simplifica a instalação do software através da utilização de um instalador fácil de usar, command-line-livre e evita erros específicos para diferentes OSs.
O software controla somente a posição dos apêndices no espaço 2D. Insetos são conhecidos para mover sua antena em 3D, o que poderia significar que a informação importante é perdida quando coordenadas 2D só são medidas. Enquanto o uso de múltiplas câmeras ou espelhos poderia ajudar na coleta as informações adicionais necessárias para a localização de 3D, é possível calcular, com o uso de relações trigonométricas, uma posição de fora-de-avião estimada por supondo que as antenas são segmentos de linha única de comprimento constante e único movimento em um lado do avião a câmera. Para as abelhas, esta suposição prende verdadeira para obter estimativas aproximadas para a posição em 3D, mas não seria necessariamente o caso para outras espécies e situações.
O software não irá detectar corretamente a antenas e narigudo dica locais em algumas situações ambíguas. Se um animal se move a uma antena para que, no vídeo, ele sobrepõe uma tromba estendida, o software irá detectar provavelmente a ponta da antena como a ponta do probóscide. O ângulo da antena, no entanto, ainda provavelmente serß processado corretamente (da parte de não-sobreposição). Da mesma forma, se as dicas de antena mover diretamente acima da cabeça do animal (ou seja, não nos lados) Então o software pode somente detectar a parte da antena que é visível fora da cabeça, ou assumir o local anterior da antena ou detectar espúrio ruído de vídeo como o local da antena. Em ambas as situações, mesmo humanos avaliadores têm dificuldade em discernir a antena do probóscide ou a cabeça. Para atenuar esse problema, recomendamos a aplicação de um filtro mediano57 de rolamento 3-frame, simétrica ao cru X e Y coordenadas produziram pelo software. Este filtro remove as flutuações grandes transitória (single-frame) posição e preserva mais movimentos de posição da antena. Nós achamos que o filtro 3-quadro melhor do que sem filtro, realizada enquanto filtros mais amplas (por exemplo, 5, 11 ou 15 frames) reduziram precisão. Código de exemplo R que usa o filtro e um tutorial em vídeo pode ser encontrado on-line58.
Valor como uma ferramenta científica:
A disponibilidade de um método para rapidamente obter movimentos precisos apêndice inseto em uma maneira cost-effective tem o potencial de abrir novas áreas de investigação.
Reflexo de extensão narigudo (PER) é uma resposta comportamental comumente usada para investigar a aprendizagem e a memória de uma variedade de insetos,59. Estudos anteriores geralmente têm contado com uma medida de estendido ou não binária do PER, embora análises de vídeo e eletromiográficas mostraram-se muito mais complexas topologias de narigudo movimentos65,66. O método aqui permite rápida quantificação dos movimentos do narigudo em alta resolução temporal e espacial.
Movimentos do inseto de antena em resposta aos odores são mal compreendidos. Uma razão para isto é que as antenas tendem a mover-se tão rapidamente que um meio custo-benefício, automatizado para obter dados de movimento de antena não esteve disponível. O método apresentado aqui pode ser usado para obter rapidamente dados de movimento de antena para um grande número de insetos em um grande número de condições. Isto poderia ajudar, por exemplo, pesquisadores investigando o mapeamento entre os movimentos de antena em resposta a vários estímulos, odores voláteis em particular. Usando câmeras que capturam frames a 30 Hz, o software pode ser usado para caracterizar a dinâmica do movimento da antena até 15 Hz (limite de Nyquist). Se houver necessidade de caracterização em frequências mais altas, câmeras com maiores taxas de captura (por exemplo, 60 ou 120 fps) poderiam ser utilizadas. No entanto, um computador mais rápido pode ser necessária para processar vídeos mais elevados de fps em tempo real. Nós especulamos que classes de odores e possivelmente até mesmo alguns odores individuais, têm a característicos inatos movimentos da antena. Se essas classes ou compostos poderiam ser descobertos, desconhecido odores ou sua classe poderia ser detectado de movimento da antena de insetos destreinados. Se existe um mapeamento de tal, então, a combinação de dados suficientes de movimento de antena e algoritmos de aprendizagem de máquina de estado da arte deve começar a descobri-lo. Além disso, como o mapeamento de mudanças em resposta à aprendizagem, formas durante o desenvolvimento, ou é interrompido com intervenções genéticas poderiam oferecer insights sobre as funções do sistema olfativo.Finalmente, este trabalho poderia dar insights sobre deteção artificial de odores se revela métodos de amostragem ideal para odores em ambientes complexos.
Trabalho futuro:
Aqui, nós mostramos que os dados de movimento de antena podem ser rapidamente obtidos e analisados: respostas de comportamento significativa podem ser detectadas a partir dos dados gerados pelo nosso software, e foram identificadas várias áreas de investigação futura.
Os cursos de tempo de antena estímulo-suscitou angle desvios e recuperação de linha de base e quaisquer efeitos de rebote de estímulo-conclusão e sua dependência na concentração do odor podem ser investigados e modeladas matematicamente. Além disso, quaisquer alterações dos movimentos de antena induzida pelo repetido ou condicionado contrário também pode ser avaliado com o software.
Também pode ser explorada melhor diferenciação dos odores. Neste estudo, ambos os odores, em puro e 35 x versões diluídas suscitou respostas semelhantes: as antenas, em média, apareceram rapidamente retirar-se longe da fonte de odor e retornar para linhas de base pré-odor após alguns segundos. Podemos especular que mesmo as versões diluídas podem ter sido muito forte estímulo olfativo para o mel de abelhas. Se true, uma ampla gama de concentrações pode ser usada para determinar se as respostas da antena diferenciam os odores. Além disso, a análise mais sofisticada melhor pode revelar diferenças nos movimentos da antena em resposta a diferentes odores. Nós fizemos os arquivos de dados usados para gerar números neste manuscrito disponível para pesquisadores interessados no site SwarmSight67.
Além disso, enquanto fora do escopo deste manuscrito, o software pode ser estendido para processar vídeos de animais colocados em câmaras com duplos espelhos em ângulo de 45° (ver Figura 1 , por exemplo). Isso pode ser usado com precisão localizar e rastrear os apêndices e seu movimento no espaço 3D. No entanto, os algoritmos para rastreamento 3D seria exigidos eficientemente: (a) a ambiguidade entre várias antenas quando eles são visíveis em um dos espelhos do lado, (b) corretos para imperfeições em ângulos do espelho e (c) responsáveis por distorções devido a câmera posicionamento.
Finalmente, ganhos adicionais na precisão da posição pode ser realizado através do uso de um Kalman filtro68, que modelos e utiliza informações de estado físico como apêndice velocidade e aceleração para restringir locais previstos. No entanto, os ganhos na precisão devem ser avaliados contra quaisquer reduções de velocidade devido a cálculos adicionais.
Conclusão:
Muitos insetos usam antenas para amostra ativamente compostos voláteis em seus ambientes locais. Padrões de movimentos da antena podem fornecer a introspecção do inseto odor percepção e como é afetado por alterações genéticas, compostos tóxicos e condicionado. Da mesma forma, os movimentos de narigudo têm sido utilizados para avaliar a percepção de odor e sua modulação. No entanto, obter rapidamente grandes quantidades de dados de movimento de alta resolução apêndice tem sido difícil. Aqui, um protocolo e o software é descrito que automatiza essa tarefa. Em resumo, temos criado e demonstrou como a combinação de hardware de baixo custo, uma preparação comum do animal e o software de código aberto podem ser usados para obter rapidamente dados de movimento de apêndice de insetos em alta resolução. A saída do software, como ele supera o humanos classificadores em velocidade e precisão, e como os seus dados de saída podem ser analisados e visualizados foram mostrados.

A maioria dos artrópodes movem antenas ou outro apêndice a amostra ambientais pistas e sinais no tempo e no espaço. Os animais podem usar as antenas para navegar o seu ambiente, detectando sinais sensoriais como químicos voláteis e estímulos gustativos e mecânica1,2,3,4. Em insetos, as antenas contêm receptores sensoriais que se ligam a químicos voláteis4,5,6 e transmitiram este sinal através de neurônios sensoriais olfativos ao cérebro central regiões1,7 ,8,9. Os insetos podem ajustar posições de antenas para modular a informação sobre entrada odores4,10,11. Esta modulação facilita respostas comportamentais activamente informadas para odores e suas plumas12,13.
Muitos insetos, incluindo Hymenopterans (por exemplo, as abelhas e zangões), lepidópteros (por exemplo, borboletas) e dípteros (por exemplo, moscas e mosquitos), entre outros, alimentam, estendendo sua probóscide14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. extensão proboscis confiantemente foi usado no passado para uma variedade de aprendizagem e memória tarefas22,23,24,25,26, 27,28,29,30,31. Da mesma forma, a avaliação quantitativa do movimento de antenas com alta resolução temporal e espacial poderia produzir insights sobre a relação entre o estímulo, o comportamento e estado interno do animal. Trabalho com efeito anterior mostrou como os movimentos da antena contêm uma rica quantidade de informações sobre o rastreamento de abelha do mel, do ambiente e como os movimentos mudam com aprendizagem32,33,34, 35,36,37,38.
Na última década, métodos para observar o comportamento animal tem sido grandemente acelerados pelos avanços em câmeras de vídeo de alta resolução, computador velocidades e algoritmos de visão de máquina de processamento. Tarefas como detecção de animais, contando, acompanhamento e análises de preferência lugar tem sido ajudadas com software sofisticado que pode processar vídeos de comportamento animal e extrato relevante mede39,40, 41,42,,43,44,,45,46,47.
Estas tecnologias também ajudaram o acompanhamento dos movimentos de antena e narigudo insetos. É possível que humanos avaliadores para usar um cursor do mouse para controlar manualmente a posição das antenas. No entanto, enquanto este método pode ser exato, a tarefa é demorada, e fadiga e humana desatenção podem resultar em resultados não-confiáveis. Preparação e equipamento especial podem ser usados para reduzir a necessidade de software complexos. Por exemplo, uma instalação usou uma câmera de alta velocidade e pintou as pontas das antenas para controlar o movimento de antena48. Os usuários também podem ser solicitado para selecionar quadros-chave de vídeos para auxiliar o software detectar a localização da antena e narigudo49. Outra abordagem detectou os dois clusters de maior movimento para identificar as antenas, mas ele não detecta a localização de narigudo50. Outro pacote de software pode detectar locais de antena e narigudo, mas requer cerca de 7,5 s de tempo de processamento por quadro51, que poderia ser proibitivo para estudos de observação em tempo real ou a longo prazo. Finalmente, é possível personalizar pacotes de software comerciais (por exemplo, EthoVision) para executar a tarefa46, mas seus custos de licenciamento e formação podem ser proibitivos.
Com o método descrito aqui, nós estendemos nosso trabalho anterior do movimento análise software41 para rastrear a localização das antenas de inseto e tromba com os seguintes objetivos: (1) nenhum requisito de hardware especial ou preparação de animais complexa, (2). quadro de processamento em tempo real (fps 30 ou mais rápido) em um computador convencional, (3) facilidade de uso e (4) open-source, de código facilmente extensível.
O método novo resultante e software open-source, SwarmSight apêndice rastreamento, não requer pintura das dicas de antenas, pode usar uma câmera de correia fotorreceptora do consumidor para capturar vídeos e quadros de vídeo de processos em 30-60 fps em um computador convencional ( A Figura 1). O software utiliza arquivos de vídeo como entrada. O usuário localiza a posição da cabeça do inseto no vídeo e, após o processamento, um arquivo de valores separados (CSV) vírgula é produzido com as localizações das antenas e narigudo. O software é capaz de ler centenas de formatos de vídeo diferentes (incluindo formatos produzidos pela maioria das câmeras digitais) através do uso do FFmpeg biblioteca52.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
Figura 1: saída de configuração e software Animal. (A), A forrageira mel de abelha com sua cabeça e corpo contido em um arnês. (B) Odor fonte é colocado na frente do animal, uma câmera de vídeo está posicionado acima, e uma fonte de vácuo é colocada atrás do animal. (C) a antena dica narigudo variáveis e detectadas pelo software SwarmSight do vídeo. (D), o usuário posiciona o sensor de antena sobre o animal e ajusta os parâmetros de filtro. O software detecta as posições da antena e narigudo (anéis amarelos).<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">Por favor clique aqui para ver uma versão maior desta figura.</a>
Primeiro, o corpo do inseto e sua cabeça são contidos em um arnês tal que os movimentos da antena e narigudo são facilmente observados (figura 1A). Uma fonte de odor é colocada na frente do inseto, com uma fonte de vácuo colocada atrás, para remover os odores do ar e minimizar potenciais efeitos de adaptação sensorial (figura 1B). Uma câmera da web convencional é colocada acima da cabeça do inseto em um tripé. Um LED pode ser posicionado no modo de exibição da câmera para indicar quando o odor é apresentado.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
Figura 2: sistema de coordenadas da antena. X, Y valores usam o sistema de coordenada de vídeo, onde canto superior esquerdo é a origem e o aumento de valores de X e Y quando se movendo em direção ao canto inferior direito. Ângulos são expressos em graus em relação a frente da cabeça (geralmente a fonte de odor). Um valor "0" significa que a linha formada pelo flagelo a antena está apontando diretamente na frente do animal. Todos os ângulos são positivos, exceto quando um pontos de antena para a direção oposta (por exemplo, pontos flagelo direita para a esquerda). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Após a filmagem, o arquivo de vídeo é aberto com o software de SwarmSight, onde o usuário posiciona o widget antena Sensor (Figura 1, quadrado preto) sobre a cabeça do inseto e inicia a reprodução do vídeo. Quando os resultados são salvo, o arquivo CSV conterá o X, Y posições da antena dicas, os ângulos da antena em relação a frente da cabeça (Figura 2) e o narigudo X, posição Y. Além disso, uma métrica do sector dominante é calculada para cada antena. A métrica mostra que, dos cinco setores 36 graus em torno de cada antena, continha o maior número de pontos considerados susceptível de ser as antenas e pode ser útil se as métricas de posição/ângulo da antena não são confiáveis devido a ruidosos ou caso contrário problemáticos vídeos.
Brevemente, o software funciona por meio de um conjunto de filtros de movimento53 e uma inundação relaxado preenchimento algoritmo54. Para encontrar pontos de antena provável, são utilizados dois filtros: um filtro de diferença 3 consecutivos-quadro-41,55 e um filtro de56 median-fundo subtração. Um filtro de limite de distância de cor é utilizado para detecção de ponto de narigudo. Top 10% dos pontos de cada filtro são combinados, e um algoritmo de preenchimento de inundação que inspeciona pontos contíguos com lacunas até 2 pixels (px) localiza pontos extremos. Paralelo quadro decodificação, processamento e pipelines de renderização e memória otimizada alocação do fluxo de dados de filtro atinge alto desempenho. O cru x e y coordenadas valores produzidos pelo software são pós-processados com um quadro 3-rolamento filtro mediano57 (ver discussão). As instruções para baixar o código fonte completo podem ser encontradas on-line58.
Abaixo é um protocolo para preparar uma forrageira de abelha do mel para antena de rastreamento. Um protocolo similar pode ser usado para acompanhar os movimentos de antena/narigudo de qualquer outro insecto. Na seção de resultados, nós descrevemos uma saída de rastreamento de antena de amostra que é detectada pelo software, a comparação entre a saída de software para rastreamento realizada por avaliadores humanos e avaliação do movimento de antenas em resposta a cinco odorantes.

<table border="0" cellpadding="0" cellspacing="0" width="938">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Insect harness</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol sections 1-3.1.1 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">Odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Vacuum source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">LED connected to odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Low Voltage Soldering Iron</td>
			<td style="width:95px;">Stannol</td>
			<td style="width:161px;">Low Voltage Micro Soldering Iron 12V, 8W</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">DC Power Supply</td>
			<td style="width:95px;">Tekpower</td>
			<td style="width:161px;">HY152A</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">White sheet of paper</td>
			<td style="width:95px;">Georgia-Pacific</td>
			<td style="width:161px;">998606</td>
			<td style="width:495px;">Any white sheet of paper can be used as alternative</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Tripod</td>
			<td style="width:95px;">AmazonBasics</td>
			<td style="width:161px;">50-Inch Lightweight Tripod</td>
			<td style="width:495px;">Optional</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">WideCam F100</td>
			<td style="width:495px;">FLIR Flea3 or another camera with manual focus can be used.</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">Camera shutter speed software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:188px;">Windows Operating System</td>
			<td style="width:95px;">Microsoft</td>
			<td style="width:161px;">Windows 7 Professional</td>
			<td style="width:495px;">Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">SwarmSight software</td>
			<td style="width:95px;">SwarmSight</td>
			<td style="width:161px;">Appendage Tracking</td>
			<td style="width:495px;">Download from http://SwarmSight.org</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">R software</td>
			<td style="width:95px;">R Project</td>
			<td style="width:161px;">R 3.4.0</td>
			<td style="width:495px;">Download from: https://cran.r-project.org/bin/windows/base/</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">R Studio software</td>
			<td style="width:95px;">RStudio</td>
			<td style="width:161px;">RStudio Desktop</td>
			<td style="width:495px;">Download from: https://www.rstudio.com/products/rstudio/download/</td>
		</tr>
	</tbody>
</table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

Muitos insetos cientificamente e agricultural importantes usam antenas para detectar a presença de compostos químicos voláteis e estender sua tromba durante a alimentação. A capacidade de rapidamente obter medições de alta resolução dos movimentos naturais de antena e narigudo e avaliar como eles mudam em resposta a manipulações químicas, do desenvolvimento e genéticas pode auxiliar a compreensão do comportamento de insetos. Estendendo o nosso trabalho anterior na avaliação agregada enxame de insetos ou movimentos de grupo animal de natural e vídeos de laboratório usando o software de análise de vídeo SwarmSight, desenvolvemos um módulo de software novo, livre e aberto, apêndice SwarmSight De controle (SwarmSight.org) para o seguimento do frame-por-frame de inseto antena e narigudo posições de vídeos de câmera web convencional usando computadores convencionais. O software processa quadros cerca de 120 vezes mais rápidos do que os seres humanos, realiza na melhor precisão humana e, usando a 30 quadros por segundo vídeos (fps), pode capturar a dinâmica da antena até 15 Hz. O software foi usado para controlar a resposta da antena do mel de abelhas para dois odores e encontrou significativas médios retrações da antena longe da fonte de odor cerca de 1 s, após apresentação de odor. Observamos antena posições densidade calor mapear a formação de cluster e cluster e significa dependência de ângulo na concentração do odor.

Nas secções abaixo são um exemplo de enredo de ângulos de antenas produzidos a partir de dados do software, a comparação da precisão do software e velocidade com os avaliadores do humanos e os resultados de um experimento onde mel abelha antena movimento é afetado pela apresentação de diferentes odores. R software62,63 foi usado para realizar a análise e gerar os números. Código R para análise e figura da geração, bem como tutoriais em vídeo pode ser encontrado on-line58.
Saída de software:
A Figura 3 mostra cinco traços selecionados aleatoriamente de antena ângulos detectados pelo software de vídeos das abelhas apresentados com versões de óleo mineral diluído puro e 35 x de heptanal e heptanol, bem como ar limpo.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
Figura 3: cinco da amostra vestígios de antenas ângulos detectados pelo SwarmSight. Eixo y mostra o ângulo da antena em graus, onde "0" é diretamente na frente do animal, em direção a fonte do odor, com valores maiores, apontando para longe da fonte de odor. Heptanol, heptanal e seus 35 x versões diluída de óleo mineral, bem como ar limpo, foram aplicadas durante o cinza 0 - 3.600 ms windows para operárias de abelha do mel único. Antena esquerda está marcada vermelho, bem marcado azul. Cinco abelhas aleatórias, um de cada condição, são representadas em cinco parcelas. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Validação de software:
Para validar que o software confiável pode detectar as localizações das antenas, posições de antena localizadas por seres humanos foram comparadas com as posições localizadas pelo software. Dois avaliadores humanos foram convidados para localizar as dicas de antena e narigudo em 425 quadros de vídeo (~ 14 s de vídeo). Um módulo de software personalizado registrados os locais de apêndice marcados pelos classificadores, avançados automaticamente quadros de vídeo e a quantidade de tempo gasto na tarefa. Como um exemplo de correspondência entre os valores humanos e software-localizados, sobreposta traços coordenados verticais de uma antena para o software e para os dois locais detectados humanos são mostrados na Figura 4A. A distância entre as posições de antena marcado dos dois avaliadores foi computadorizada e chamada de "Distância inter humana." A distância entre o local da antena detectado pelo software e o local mais próximo, detectado pelos avaliadores humanos foi computadorizada e chamada de "Software-mais próxima distância humana" (Figura 4B).
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
Figura 4: comparação com classificadores humanos. (A), dois avaliadores humanos e dicas de antena SwarmSight localizado em 425 quadros de vídeo. As coordenadas de ponta Y frame-por-frame esquerdo antena encontraram pelos avaliadores humanos e software são sobrepostos. (B) sobreposta desacordo frame-por-frame (distância em pixels vídeo) entre avaliadores humanos (laranja) e o desacordo entre o software e o valor mais próximo do avaliador humana (preto). (C) humanos vs software vs humanos locais (preto) e locais de ponta antena humana (laranja). (D) histogramas e distribuições cumulativas (tracejadas) de humanos vs humanos e software vs distâncias desacordo humano do frame-por-frame. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Distância entre humanos foi 10,9 px, em média, dentro de 55,2 px em 95% dos quadros, e tinha um valor máximo de 81,6 px. A distância mais próximo Software humano era 8.0 px, em média, dentro de 18,3 px em 95% dos quadros, e tinha um valor máximo de 49.0 px (veja histogramas de distância na Figura 4e Figura 4). 5 px foi aproximadamente a largura de uma antena. Em geral, a distância entre humanos foi pequena para os quadros no início da tarefa e aumentou na segunda metade da tarefa. Suspeitamos que isso era devido à fadiga do avaliador. Entretanto, níveis de Software-mais próxima distância humana permaneceram constantes durante toda a tarefa.
Software velocidade e precisão de comparação com os avaliadores do humanos:
Os seres humanos Pontuação: locais de ponta e narigudo de antena a uma velocidade média de 0,52 quadros por segundo (fps). Para estimar o fps humana, o número total de quadros de Pontuação: por seres humanos (425 cada) foi dividido pelo tempo total gasto com a tarefa (873 s e 761 s). O software de Pontuação: os quadros em 65 fps em média em um Dual-Core Windows 7 PC. Juntamente com processamento de alta velocidade e precisão similar ou melhor do que os avaliadores do humanos, o software pode ser esperado para executar o trabalho de cerca de 125 classificadores humanas por unidade de tempo.
Deteção de antena resposta aos odores:
Para demonstrar que o protocolo pode ser usado para detectar diferenças de comportamento significativas no movimento de insetos, sujeitámos 23 abelhas feminino para dois diferentes odores. Pure heptanal heptanol, 35 x óleo mineral diluições dos dois odores e ar puro, como o controle, foram apresentados e cada um para 4 s (cinco condições no total). Vídeos, conforme descrito no protocolo acima, foram processados com o software SwarmSight, e os ângulos de antena analisaram (Figura 5).
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
Figura 5: antena ângulo meios e densidade calor mapas para cinco condições odor. (A) calor mapas apresentando densidade de ângulo da antena antes, durante (região central mais escura) e após a administração de heptanol e ar heptanal odorantes para abelhas fêmeas (n = 23). Curvas de preto são ângulos de antena média por quadro (duas antenas). Linhas horizontais são ângulos significa Pre-odor (linha de base). Observação o cluster de locais de antena preferencial (aglomerado vermelho na parcela inferior) longe da fonte de odor para condições de puro odor e as alterações correspondentes ao ângulo médio de antena.Observe também o cluster "rebote" após a conclusão de odor e sua dependência de início aparente na concentração do odor (ver local de cluster nos outros quatro lotes). Escala de cor de mapa de calor de densidade é arbitrária, mas uniforme em todas as condições. (B) mudança de ângulo médio de mau pre-odor (S.E.M barras de erro). Exceto para ar, tudo o que quer dizer alterações foram significativas (t-testar p &#60; 0,05). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
Quadros de vídeo de 9 segmentos de s do vídeo composto por 3 s antes do início de odor, 3.6 s de apresentação de odor e 2.4 s após a conclusão do odor estavam alinhados em todos os indivíduos e as condições (300 frames/segmento). Os meios por quadro de ambos os ângulos da antena de todos os indivíduos foram calculados para cada condição e chamados "Significa ângulos" (Figura 5A, curvas de pretas). Os ângulos de antena média de quadros antes do início de odor entre os indivíduos para cada condição foram computados e chamados "Pré-Odor das linhas de base" (Figura 5A, finas linhas horizontais).
Em todas as condições, exceto o controle, os ângulos médios aumentaram de linhas de base, cada um pico uma vez 750-1.050 ms após o início do odor (Figura 5A, curvas pretas 0 - região de 3.600 ms). As alterações médios de linhas de base foram testadas para significado (Figura 5B), comparando os meios de dois-antena de indivíduos na época média ângulo pico odor-apresentação de cada Estado para o meio da linha de base usando uma série de 1 amostra t-testes ( Normalidade de Shapiro testes não significativos em todas as condições). A mudança de ângulo médio da linha de base foi 26,9 ° para puro heptanal (média atingiu um pico de 750 ms depois do aparecimento de odor), 21,1 ° para 0,2 M heptanal (a 990 ms) 19,6 ° para puro heptanol (no ms 1.050), 19,3 ° para 0,2 M heptanol (no ms 780) e 3,45 ° para controle de ar (sem picos). Em todas as condições, exceto o controle, a mudança de ângulo médio da linha de base foi significativa (Holm ajustado p &#60; 0,05). Notamos que o ângulo médio leva mais tempo para retornar à linha de base em resposta a odorantes pura do que a odorantes diluído (passa-baixa média filtrada retornada à linha de base 3.690 ms depois do aparecimento de odor para puro e 2.940 ms para heptanol diluído; por vezes heptanal, retorno tinham 4.260 ms para puros e 3.000 ms para versões diluídas).
Visualização usando mapas de calor:
Para visualizar as respostas de antena, antena ângulo densidade calor mapas para cada condição foram gerados (Figura 5A, plano de fundo azul-vermelho). Ângulos de antena através de 10 segmentos de vídeo de s para cada indivíduo por condição foram integrados com um kernel Gaussian (pacote R massa, kde2d função64). As áreas azuis mostram baixas densidades de ângulos de antena, enquanto as áreas vermelhas mostram altas densidades de ângulos de antena. O mapa de calor na trama de fundo da Figura 5A para a pura condição heptanal ilustra o comportamento da antena.
O mapa mostra que, antes do odor é apresentado (t &#60; 0), a densidade de ângulo da antena é distribuída relativamente uniforme em todos os ângulos. Cerca de 1 s, após o aparecimento de odor (t ~ 1.000 ms), um par de clusters de azuis e vermelhos aparece. Em vermelho com sombra de áreas, as antenas foram encontradas mais frequentemente do que em áreas sombreadas de azul. O cluster azul indica que as antenas tendiam a evitar ângulos menores (fonte de odor localizava-se na direção de 0 graus), enquanto o vermelho cluster indica que as antenas preferido maiores ângulos (longe da fonte de odor). O cluster vermelho gradualmente desaparece como a apresentação de odor é mantida. Outro vermelho, embora menos intensa, cluster aparece cerca de 1 s, após a conclusão do odor. Nomeamos os clusters vermelhos segundo "Clusters de rebote". Coerente com os tempos de recuperação de ângulo médio acima, notamos que os clusters de rebote parecem aparecer mais cedo e são menos intensos para odores diluídos do que para odores puros.

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Este protocolo descreve etapas para usar o novo software, SwarmSight, para o seguimento do frame-por-frame de insetos posições da antena e narigudo de vídeos de câmera web convencional usando computadores convencionais. O software livre, open-source processa quadros cerca de 120 vezes mais rápido do que os seres humanos e realiza-se no melhor do que a precisão humana.

SwarmSight: Acompanhamento em tempo real dos movimentos de antena do inseto e reflexo de extensão Proboscis usando uma preparação comum e Hardware convencional

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Research

JoVE Journal

Neuroscience

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees (Apis mellifera)

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees Apis mellifera

Farmacologia Comportamental no condicionamento clássico da Resposta Extensão Proboscis em Abelhas ( Apis mellifera)

Honeybees (Apis mellifera) are well known for their communication and orientation skills and for their impressive learning capability1,2. Because the ...

Neurociência

Recording Human Electrocorticographic (ECoG) Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Gravação Humanos eletrocorticográfica (ECOG) Sinais para pesquisa neurocientífica e mapeamento em tempo real Funcional Cortical

Neuroimaging studies of human cognitive, sensory, and motor processes are usually based on noninvasive techniques such as electroencephalography (EEG), ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

Um protocolo de resposta narigudo Extensão para investigar plasticidade comportamental em Insetos: Aplicação para Basic, biomédica e Pesquisa Agropecuária

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Real-time Electrophysiology: Using Closed-loop Protocols to Probe Neuronal Dynamics and Beyond

Eletrofisiologia em tempo real: Usando protocolos de circuito fechado para sondar Neuronal Dynamics and Beyond

Experimental neuroscience is witnessing an increased interest in the development and application of novel and often complex, closed-loop protocols, where ...

Insect-controlled Robot: A Mobile Robot Platform to Evaluate the Odor-tracking Capability of an Insect

Robô controlado por insetos: uma plataforma móvel Robot avaliar a capacidade Odor-tracking de um inseto

Robotic odor source localization has been a challenging area and one to which biological knowledge has been expected to contribute, as finding odor ...

Triggering Cell Stress and Death Using Conventional UV Laser Confocal Microscopy

Provocando estresse celular e morte utilizando convencional UV laser microscopia confocal

Using a standard confocal setup, a UV ablation method can be utilized to selectively induce cellular injury and to visualize single-cell responses and ...

A Protocol for the Administration of Real-Time fMRI Neurofeedback Training

Um protocolo para a administração do real-time fMRI treinamento de Neurofeedback

Neurologic disorders are characterized by abnormal cellular-, molecular-, and circuit-level functions in the brain. New methods to induce and control ...

Live-cell Measurement of Odorant Receptor Activation Using a Real-time cAMP Assay

Viver-pilha medição de odorante Receptor de ativação usando um ensaio de campo em tempo real

The enormous sizes of the mammalian odorant receptor (OR) families present difficulties to find their cognate ligands among numerous volatile chemicals. ...

Real-time In Vitro Monitoring of Odorant Receptor Activation by an Odorant in the Vapor Phase

Em tempo real em Vitro monitoramento da ativação do Odorant Receptor por um odorante na fase de Vapor

Olfactory perception begins with the interaction of odorants with odorant receptors (OR) expressed by olfactory sensory neurons (OSN). Odor recognition ...

Real-Time fMRI Brain Mapping in Animals

Mapeamento cerebral por fMRI em tempo real em animais

Dynamic fMRI responses vary largely according to the physiological conditions of animals either under anesthesia or in awake states. We developed a ...