O Efeito McGurk

Fonte: Laboratório de Jonathan Flombaum - Universidade Johns Hopkins

A língua falada, uma conquista humana singular, depende fortemente de mecanismos perceptivos especializados. Uma característica importante dos mecanismos de percepção da linguagem é que eles dependem simultaneamente de informações auditivas e visuais. Isso faz sentido, porque até os tempos modernos, uma pessoa poderia esperar que a maioria da linguagem fosse ouvida em interações cara a cara. E como produzir sons de fala específicos requer uma articulação precisa, a boca pode fornecer boas informações visuais sobre o que alguém está dizendo. Na verdade, com uma visão de perto e desobstruída do rosto de alguém, a boca pode muitas vezes fornecer melhores sinais visuais do que sinais auditivos de fala. O resultado é que o cérebro humano favorece a entrada visual, e o usa para desambiguar a ambiguidade inerente na língua falada.

Essa dependência da entrada visual para interpretar o som foi descrita por Harry McGurk e John Macdonald em um artigo em 1976 chamado Ouvir lábios e ver vozes. ¹ Nesse artigo, eles descreveram uma ilusão que surge através de uma incompatibilidade entre uma gravação de som e uma gravação de vídeo. Essa ilusão tornou-se conhecida como o efeito McGurk. Este vídeo demonstrará como produzir e interpretar o efeito McGurk.

1. Estímulos

1. Para fazer estímulos de efeito McGurk você vai precisar de uma câmera de vídeo - do tipo em um smartphone é bom.
2. Você também precisará de um computador para controlar a apresentação dos vídeos para um assunto ingênuo.
3. Aponte sua câmera para si mesmo, para que sua cabeça encha o display.
4. Faça quatro gravações. Cada um deve ter 10 anos. Em cada uma das quatro gravações, você repetirá uma palavra 10 vezes, cerca de 1/s. Aqui estão as palavras: bane, gain, pan, can. Tente dizer as palavras em cada vídeo em um ritmo semelhante.

2. Induzir a Ilusão

1. Para induzir a ilusão, você poderia unir o som de um vídeo e a imagem de outro. Mas isso não é realmente necessário. É mais fácil apenas fazê-lo usando seu telefone e um computador simultaneamente. Aqui está como.
2. Na área de trabalho do seu computador abra o vídeo em que você está dizendo ganho. Desligue o som e reprodugue o vídeo.
3. No seu telefone abra o vídeo em que você está dizendo bane. Coloque o telefone atrás da tela do computador para que o som possa ser ouvido, mas o vídeo não pode ser visto. Reprodução do vídeo.
4. Peça a um observador para assistir a tela do computador enquanto escuta, e quando o vídeo terminar de ser reproduzido, pergunte-lhes o que ouviram.
5. Faça o mesmo para os vídeos pan/can: Reproduza o fluxo de imagens de você dizendo pode enquanto seu telefone reproduz o fluxo de áudio do vídeo da panela. Pergunte à participante o que ela ouviu.

Lembre-se, os sons tocados para o seu observador são as palavras bane ou pan. Mas nos vídeos que acompanham, as palavras que estão sendo articuladas são ganhos e podem, respectivamente. Então, quais palavras as pessoas realmente ouvirão? A resposta é, na maioria das vezes, nenhuma dessas quatro. Em vez disso, o resultado típico é que os observadores na condição de bane/gain ouvirão a palavra Dinamarquês. E os observadores da condição pan/lata ouvirão a palavra bronzeamento.

Para entender por que precisamos entender um pouco sobre como os fonemes são produzidos. Um fonema é uma unidade mínima de som de fala. As palavras bane e gain têm os mesmos fonemes em todas as posições, menos na primeira. Na palavra bane o primeiro foneme é um som b, denotado /b/. No ganho de palavra é o som /g/. Os sons restantes são os mesmos- é por isso que as palavras rimam. A Figura 1 quebra o efeito McGurk em termos dos fonemes iniciais nestes exemplos. Quando /b/ é mostrado e /g/ é reproduzido, as pessoas ouvem /d/. A palavra Dinamarquês em outras palavras também rima com bane e ganho, com uma diferença de um fone no início.

Figura 1: O efeito McGurk acontece quando há uma incompatibilidade entre um fonema que é articulado em uma apresentação visual e diferentes fonema é reproduzido simultaneamente através de alto-falantes. Com fonemas que compartilham certas propriedades de articulação, o resultado ouvido pode não coincidir com nenhum dos estímulos incomparáveis. No descompasso faz com que um terceiro som seja ouvido. Especificamente, um visual /g/ com um auditivo /b/ faz com que o foneme /d/ seja ouvido. É por isso que um ganho visual com um bane auditivo resulta em Dane sendo ouvido. Da mesma forma, um visual /k/ com um auditivo /p/ leva o som /t/ a ser ouvido. É por isso que a lata/pan produz bronzeado no efeito McGurk.

Por que conflitantes /b/ e /g/ produzem a /d/ especificamente? Bem, /b/, /g/, e /d/ não são realmente tão diferentes um do outro, especialmente em termos de como eles são produzidos. Os três basicamente envolvem mover a mesma quantidade de ar da laringe de uma pessoa através de sua boca, com apenas uma diferença em que o alto-falante coloca uma pequena obstrução. Quando alguém faz um /b/ som, usa os lábios para obstruir o ar; isso é conhecido como um ponto labial de articulação. Para um /g/ som, o ponto de articulação é palatal- está longe na parte de trás da boca. E para um /d/ som, o ponto de articulação é conhecido como odontológico porque as pessoas obstruem o fluxo de ar através da boca tocando suas línguas até os dentes superiores. A Figura 2 mostra os pontos relativos de articulação para os seis fonemes no efeito McGurk.

Figura 2: Humanos produzem sons movendo o ar através de suas gargantas e boca. Isso envolve vibrações na laringe. Um determinado conjunto de vibrações produzidas na laringe pode produzir vários fonem diferentes, obstruindo o fluxo de ar. O lugar onde uma obstrução é colocada para criar um som específico é chamado de ponto de articulação. Três pontos importantes de articulação são conhecidos como labial, referindo-se aos lábios; odontológico, referindo-se aos dentes; e palatal, referindo-se ao paladar, ou ao céu traseiro da boca. A figura mostra como as fonemes produzidas e ouvidas no efeito McGurk diferem em termos de seus pontos de articulação.

Agora que você sabe um pouco sobre como esses sons são produzidos, a lógica do efeito McGurk deve ser mais aparente. Funciona assim: seu cérebro sabe que alguns fonemes são realmente muito semelhantes um ao outro. No efeito McGurk, a palavra bane é tocada para o observador, liderada por um /b/ som. Mas o rosto no vídeo está movendo a boca como fariam para fazer um /g/ som, e a palavra ganhar. O cérebro recebe, portanto, entradas conflitantes dos olhos e ouvidos. Para resolver o conflito, o cérebro chega à conclusão de que a verdade provavelmente está em algum lugar no meio. Uma vez que /d/ é o som entre /b/ e /g/-em termos de produção - isso é o que as pessoas ouvem. A mesma explicação se aplica para transformar o conflito entre panela e lata em bronzeado. /p/ é um som labial, e /k/ é um som palatal. O dentário no meio é /t/.

Um lugar que o efeito McGurk tem sido importante é entender como crianças muito jovens aprendem a língua falada. Um estudo em 1997 foi capaz de mostrar que mesmo bebês de 5 meses de idade percebem o efeito McGurk. ² Isso é importante porque sugere que as informações visuais podem ser usadas por bebês para resolver um grande desafio para aprender a analisar um fluxo de áudio contínuo em suas unidades. Pense em como uma língua estrangeira falada em sua velocidade normal pode parecer uma confusão que você pode nem saber onde estão os limites da palavra. Bem, se todas as línguas são estranhas aos bebês, então como eles descobrem onde estão as palavras? O efeito McGurk sugere que eles podem confiar em padrões de articulação facial.

1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.