Reprodução de vídeo automatizada interativo para estudos da comunicação animal

Resumo

Reprodução de vídeo é uma técnica amplamente utilizada em comportamento animal. Criamos e avaliou um programa que se aplica com base em regras de reprodução, interativo 3-D de animações de computador em resposta a tempo real, dados sobre o comportamento automatizado assunto.

Resumo

Reprodução de vídeo é uma técnica amplamente utilizada para a manipulação controlada e apresentação de sinais visuais na comunicação animal. Em particular, o parâmetro baseado em animação por computador oferece a oportunidade de manipular de forma independente de qualquer número de características comportamentais, morfológicas, ou espectrais no contexto dos realistas, imagens em movimento de animais na tela. Uma das principais limitações da reprodução convencional, porém, é que o estímulo visual não tem a capacidade de interagir com o animal vivo. Empréstimo de video-game tecnologia, criamos um sistema automatizado interativa para reprodução de vídeo que controla animações em resposta a sinais em tempo real a partir de um sistema de monitoramento de vídeo. Nós demonstramos este método através da realização de ensaios companheiro de escolha de peixes swordtail feminino, Xiphophorus birchmanni. Fêmeas receberam uma escolha simultânea entre um macho cortejando conspecific e um macho cortejando heterospecific (X. Malinche) em lados opostos de um aquário. O estímulo virtuais do sexo masculino foi programado para seguir a posição horizontal do sexo feminino, como os machos cortejando fazer em estado selvagem. Companheiro de escolha de ensaios sobre selvagens capturados X. birchmanni fêmeas foram utilizados para validar a capacidade do protótipo para efetivamente gerar um estímulo visual realista.

Protocolo

1. Configuração de hardware e sistema Viewer.

O sistema consiste de um tanque de provas ladeado por dois monitores. Uma câmera de vídeo conectada ao sistema Visualizador BIOBSERVE registra o movimento do assunto em tempo real. Dados de movimento é passado para o programa de reprodução de vídeo interativo (IVP) em um servidor separado, o que determina o movimento do estímulo animado na tela.

1. Coloque dois monitores CRT em extremidades opostas de um aquário de 80 l enchidos com água limpa; saída do monitor partida.
2. Overhead Coloque a câmera para capturar visão completa do aquário, conectar-se a BIOBSERVE placa de vídeo.
3. Configurar o sistema do Visualizador de receber informações de controle da câmera.
4. Ativar plug-in para o Visualizador de que envia as coordenadas do focinho do animal, corpo e cauda para servidor de animação em tempo real através de um endereço especificado de rede IP.
5. Ligue servidor animação.

2. Calibração.

1. No servidor de animação, abra InteractiveDisplaySetup.txt. Digite largura e altura da tela em pixels em "Informações Monitor". Em "ProgramType" enter "calibragem". Salve as alterações para o arquivo.
2. Dê um duplo clique no ícone do programa para IVP início do programa.
3. Entre em extensões das dimensões do tanque como configurar no sistema do Visualizador no passo 2.3. Isto irá assegurar a correspondência entre os dados Viewer e saída interativa da IVP.
4. Desde os fins dos tanques de peixes são menores do que os monitores, o software permite ao usuário usar o teclado (a e s para a largura, z e x para a altura, e as teclas de seta para a posição) para mover a área de visualização (viewport) da estímulos para se alinhar com as extremidades do tanque de provas. Visualizada no servidor de animação, o viewport rosa é ecoada em um monitor de teste ea janela azul do outro (figura 1).
5. Use Z e X do teclado para escalar a exibição dos peixes machos em ambas as viewports até que corresponde ao tamanho do estímulo desejado.
6. Mover as caixas exibida para que eles se alinham para as bordas do tanque de teste. O usuário usa as teclas Q ou W para mover as caixas de direção ou para longe do centro do peixe.
7. Inserir informações experimento, quando solicitado pelo programa. O usuário tem a opção de escolher entre os modelos pré-carregados (em nossa demonstração, cortejando machos Xiphophorus birchmanni, X. Malinche). O usuário também especifica o comportamento de cada peixe em cada etapa (não interativo ou interativas), o lado e estágio em que cada estímulo irá aparecer, e no tamanho desejado (tamanho padrão) de cada estímulo.
8. A próxima pergunta pergunta se o usuário quer os movimentos de peixes a ser espelhado, ou seja, que o movimento do modelo de cada lado do aquário será exatamente o mesmo. Isso só é usado quando os peixes estão tanto em modo de animação. As últimas perguntas dizem respeito ao movimento da nadadeira dorsal. O usuário pode selecionar dorsal padrão, o que tornaria o dorsal apenas levantar durante uma exibição de corte lateral. Se o dorsal não está definido como padrão, o usuário pode decidir se o modelo levanta sua nadadeira dorsal acordo com a distância do assunto a partir do monitor.

3.Starting IVP para companheiro de escolha-teste.

1. InteractiveDisplaySetup.txt aberto e definir "ProgramType" para liveTesting e defina 'experimentName' para o mesmo nome de arquivo que contém os dados da experiência.
2. Delicadamente, coloque os peixes no aquário assunto e esperar 10 min.
3. Inicie o Visualizador de 2,0 eo IVP.

4. Companheiro de escolha ao julgamento.

A seqüência geral experimental segue estudos anteriores usando estímulos não-interativas de vídeo ^1-4. As fêmeas são apresentados com dois estímulos diferentes em monitores em extremidades opostas de um aquário de testes. Comportamento feminino é monitorado em tempo real pelo sistema Visualizador Biobserve. O ensaio de resposta é a associação do tempo, a quantidade de tempo que uma mulher gasta dentro de 10 cm de um monitor ou de outro. Tempo de associação é calculado automaticamente pelo Viewer.

1. Os estímulos de vídeo são exibidos para pessoas num ensaio que consiste em dois, 20 minutos-estágios. Um estágio é composto por quatro segmentos de cinco minutos:
   1. O primeiro segmento aclimata a fêmea para o tanque de teste durante cinco minutos, exibindo uma tela monocromática em ambos os monitores.
   2. No segundo segmento, dois estímulos diferentes de vídeo são exibidas para a fêmea, uma no monitor esquerdo e outro na direita por cinco minutos.
   3. Imediatamente após a exibição do vídeo estímulos, uma tela monocromática é novamente exibido em ambos os monitores por cinco minutos.
   4. No segmento de quarto e último, os estímulos do segundo segmento são apresentados, mas a posição de cada estímulo é comutada. Isso proporciona um controle dentro-fêmea de viés lado.
2. O secestágio ond repete o mesmo padrão, com um conjunto diferente de estímulos simultaneamente apresentadas.
3. Ensaios adicionais são executados voltando ao passo 2 e sistematicamente variando lado e ordem de apresentação.

5. Resultados representante.

Nós avaliamos a eficácia da reprodução interativo, comparando a resposta feminina a animações interativas e não interativas dos machos cortejando. O estímulo não-interativo realizado um estímulo corte na tela, independente do comportamento feminino, como em estudos anteriores ^1-4.

O estímulo interativo rastreado a posição horizontal do sexo feminino em toda a tela. A posição de ambos os peixes simulados ou o peixe assunto foi operacionalmente definido como o ponto médio da linha que liga o centróide eo focinho. As três regras que regem o comportamento do sexo masculino foram os seguintes, onde a direção X refere-se ao comprimento do tanque, ea direção Z refere-se à largura do tanque (figura 2):

Regra 1: O macho simulado segue sempre o assunto em toda a tela, seguindo-la na direção Z.

Regra 2: O macho barbatana dorsal simulado somente é levantado quando se está realizando uma exposição corte lateral.

Regra 3: Os peixes swordtail simulado do sexo masculino só vai realizar uma exposição corte lateral para 50% do tempo total que está sendo exibido para o feminino. O visor namoro lateral é desencadeada pelo peixe macho estar dentro de um quarto do comprimento do corpo masculino dos peixes do sexo feminino na direção Z. O visor namoro lateral é independente de quão perto a fêmea é o monitor na direção X.

O estímulo interativo acompanhado de perto a posição da mulher em tempo real (figura 3).

Trabalho anterior, através de estímulos não-interativas ^4,5 mostraram que X. feminino birchmanni fortemente preferida sinais visuais de sua própria espécie. Os estímulos não-interativo criado pelo IVP foram igualmente eficazes em extrair preferências companheiro conspecific (t = 1,923, N = 9, p = 0,046). Quando as fêmeas foram testados em simulação interativa machos da mesma espécie e heterospecific imediatamente antes ou depois, no mesmo julgamento, porém, eles não mostraram uma preferência (Figura 4).

Figura 1. Monitor de instalação para calibração.

Figura 2. Vista esquemática do tanque e configuração do monitor, eixos indicadores utilizados para descrever a posição.

Figura 3. Posição horizontal do exemplar animadas e representativas do sexo feminino ao longo do tempo.

Figura 4. Associação vez (es) de fêmeas com interativo e não interativo e conspecific heterospecific estímulos do sexo masculino. Cada parcela é criado a partir de um registro de cinco minutos da saída de posições pelo protótipo. Nessas parcelas, o tempo avança na direção Y verticais 0-5 minutos.

Figura 5. Representante de dados de tempo de associação e de rastreamento por dois estímulos interativos. Dois segmentos de cinco minutos para duas fêmeas são mostrados.

Discussão

Métodos anteriores para reprodução de vídeo interativo em comportamento animal têm contado com um operador humano para dar respostas aos sinais comportamentais de indivíduos. Com IVP, criamos um programa que aplicada com base em regras em resposta a interatividade em tempo real, dados sobre o comportamento automatizado assunto. Fazemos uma breve descrição das etapas envolvidas na criação do programa abaixo.

O primeiro passo foi criar digitais exemplares machos de X. birchmanni e X. Malinche. Nós tomamos uma abordagem semelhante a estudos anteriores ^6. Criamos malhas em 3D que são modelados em texturas com base em fotografias de reais X. birchmanni e X. Malinche. Para capturar as texturas realistas do peixe real, as fotografias mesma usada para modelar as formas de peixes foram usados ​​como texturas para os peixes. Um mapa planar aplicado às suas coordenadas UV alinhados no mapa UV com a textura fotografia. Em segundo lugar, a malha de peixe digital deve deformar como um peixe real. Para conseguir isso, um esqueleto virtual foi criado para o corpo e as barbatanas e "pele" para a malha. O processo de esfola permite a malha a ser deformado quando as articulações são rodados.

Segundo, nós adicionamos o movimento para o peixe digital. Seis movimentos fundamentais que um peixe macho faz swordtail foram animadas. Três dos movimentos foram usados ​​para representar as diferentes velocidades em que um peixe nadar. Os outros três movimentos foram os peixes restantes ainda, voltando-se, ou exibindo uma tela de namoro lateral. Uma vez que os machos podem aumentar ou diminuir a sua barbatana dorsal de acordo com receptores se macho ou fêmea estão presentes ^3, dissociado do movimento da nadadeira dorsal do que da tela namoro lateral. A barbatana dorsal foi introduzido para que pudesse ser levantada ou abaixada em qualquer momento durante o ciclo. Um total de 24 ciclos de animação foram usados. Cada ciclo começou e terminou com o peixe na mesma postura, para que os ciclos de animação poderia facilmente se misturam. Todos os ciclos de 24 a animação foi criado por rotoscopia ^7,8 o movimento desejado da sobrecarga de um vídeo ao vivo, cortejando machos X. birchmanni.

Em terceiro lugar, habilitado interatividade. Foi utilizado o sistema Visualizador Biobserve para acompanhar em tempo real a posição do focinho, corpo e cauda do swordtail feminino e transmitir essa informação em tempo real para o programa de IVP. Isto foi feito separadamente para cada macho cortejando em cada monitor. A animação do sexo masculino seguiu a posição do peixe sujeito. Nós modelamos a seguir usando Reynolds chegou comportamento da direcção ^9,10, o que permitiu o homem a seguir a mulher e desacelerar medida que se aproxima da fêmea.

Para calcular a posição do peixe swordtail masculino em cada passo de tempo, o sistema foi fornecido com a posição atual da mulher, que permitiu que o programa para calcular as forças que impulsionam o macho. Primeiro, o vetor alvo-offset foi calculado subtraindo-se a posição dos peixes machos a partir da posição do peixe fêmea. Distância o segundo do peixe macho para os peixes fêmeas foi determinado tendo a magnitude do vetor-alvo offset. Terceiro, a velocidade desejada do peixe macho foi determinada pela divisão da distância por um valor de desaceleração constante. Isto permitiu que os peixes machos para abrandar quando se aproximava o peixe do sexo feminino. Passado, a aceleração desejada foi calculado subtraindo-se a velocidade da corrente do macho da velocidade desejada.

Desde animações são renderizadas como frames de vídeo discreta em 60 Hz, os cálculos foram feitos para cada passo de tempo discretos, em intervalos de 0,016 segundos. Máxima velocidade foi definida com um valor de 10 cm / s para estas experiências. Se a magnitude da velocidade de novo foi maior do que a velocidade máxima, a velocidade foi definido para o máximo.

Para esta simulação particular, o peixe interativo do sexo masculino aumentou a sua barbatana dorsal 50% do tempo, e apenas durante as interações namoro. O comportamento de exibição laterais namoro foi acionado sempre que o estímulo do sexo masculino foi 0,25 dentro de comprimentos corpo do peixe swordtail feminino na dimensão Z.

Ficamos surpresos que a interatividade aboliu a preferência feminina por membros da mesma espécie, apesar do fato de que as animações não-interativas provocou uma forte preferência e dado que as fêmeas passaram a maior parte do tempo associar-se com os estímulos interativos. Uma possibilidade é que a seguir atentamente a fêmea pode substituir sinais visuais usados ​​para avaliar os homens, como a espada ea nadadeira dorsal. Alternativamente, as fêmeas podem ser menos propensos a perder o interesse em um macho cortejando e, portanto, menos propensos a amostra de indivíduos (figura 5).

No entanto, nossos resultados mostram que o princípio de funcionamento de vídeo-game ou seja, tecnologia, software-driven, baseado em regras agentes responder à entrada do usuário pode ser aplicado com sucesso a reprodução interativos em estudos decomportamento animal. Este tipo de reprodução baseado em regras interativa deve ser útil para estudos de movimento empolamento e coletiva ^11,12. Em particular, a capacidade de manipular as regras que um exemplar virtual usa para empolamento deveria nos dar insights sobre os processos que os animais usam para tomar decisões empolamento.

Materiais

Name	Company	Catalog Number	Comments
Maya 8.0
C# program using Microsoft’s XNA Game Studio 2.0
BIOBSERVE Viewer 2
Dell 15” CRT monitor (2)
20 X 20 X 80 cm Plexiglas testing aquarium
Dell Latitude computer (animation server)