Der McGurk-Effekt

Quelle: Labor von Jonathan Flombaum, Johns Hopkins University

Gesprochener Sprache, eine einzigartige menschliche Errungenschaft stützt sich stark auf spezialisierte perzeptuellen Mechanismen. Ein wichtiges Merkmal der Sprache Wahrnehmung Mechanismen ist, dass sie gleichzeitig auf die auditiven und visuellen Informationen stützen. Dies ist sinnvoll, weil eine Person bis zur Neuzeit, erwarten könnte, dass die meisten Sprache im persönlichen Umgang gehört zu werden. Und weil bestimmte Sprachlaute präzise Artikulation erfordert, der Mund liefern gute visuelle Informationen, was jemand sagt. In der Tat, mit einem aus nächster Nähe und unverbaubaren Blick auf das Gesicht von jemandem liefern der Mund oft bessere visuelle Signale als Rede auditive Signale liefert. Das Ergebnis ist, dass das menschliche Gehirn visuelle Eingang begünstigt, und sie, verwendet um die inhärenten Mehrdeutigkeit in der gesprochenen Sprache eindeutig zu machen.

Diese Abhängigkeit von visuellen Input Sound interpretieren wurde von Harry McGurk und John Macdonald in ein Papier in 1976 genannt Lippen zu hören und zu sehen, stimmenbeschrieben. ¹ in diesem Papier beschrieben sie eine Illusion, die durch ein Missverhältnis zwischen einer Tonaufnahme und eine video-Aufnahme entsteht. Diese Illusion ist als der McGurk-Effekt bekannt geworden. Dieses Video demonstriert, wie zu produzieren und interpretieren den McGurk-Effekt.

(1) Reize

1. Um McGurk Effekt Reize, die Sie benötigen, eine Video-Kamera-die Art auf einem Smartphone ist fein.
2. Sie benötigen auch einen Computer zur Steuerung der Präsentation von Videos zu einem naiven Thema.
3. Richten Sie die Kamera auf sich selbst, so dass Ihr Kopf das Display ausfüllt.
4. Vier Aufnahmen zu machen. Jeder sollte 10 s lang. In jedem der vier Aufnahmen müssen Sie ein Wort 10mal, etwa 1/s wiederholen. Hier sind die Worte: Bane, gewinnen, schwenken, kann. Versuchen Sie, die Worte in jedem Video in einem ähnlichen Tempo.

(2) induzieren die Illusion

1. Um die Illusion zu induzieren, könnten Sie gemeinsam den Ton von einem Video und Bild aus einer anderen Spleißen. Aber das ist nicht wirklich notwendig. Es ist einfacher, tun Sie es einfach mit Ihrem Telefon und einem Computer gleichzeitig. Hier ist wie.
2. Auf Ihrem Desktop öffnen Sie das Video, in dem du sagst, zu gewinnen. Schalten Sie den Ton, und starten Sie das Video.
3. Auf Ihrem Handy öffnen Sie das Video, in dem Sie Bane sagen. Setzen Sie das Telefon hinter dem Computer-Bildschirm, so dass der Ton zu hören, aber das Video nicht zu sehen. Das Video abzuspielen.
4. Fragen eines Beobachters auf den Computer-Bildschirm sehen Sie beim hören, und wenn das Video fertig spielen, Fragen sie, was sie zu hören.
5. Machen Sie dasselbe für die Pfanne/Videos können: die Bild-Stream von Ihnen sagen kann zu spielen, während Ihr Telefon den Audiostream aus dem Pan-Video spielt. Bitten Sie die Teilnehmer, was sie hören.

Remember, the sounds played to your observer are either the words bane or pan. But in the accompanying videos, the words being articulated are gain and can respectively. So which words will people actually hear? The answer is most often none of those four. Instead, the typical result is that observers in the bane/gain condition will hear the word Dane. And observers in the pan/can condition will hear the word tan.

To understand why we need to understand a little bit about how phonemes are produced. A phoneme is a minimal unit of speech sound. The words bane and gain have the same phonemes in all positions but the first. In the word bane the first phoneme is a b sound, denoted /b/. In the word gain it is the sound /g/. The remaining sounds are the same-which is why the words rhyme. Figure 1 breaks down the McGurk effect in terms of the initial phonemes in these examples. When /b/ is shown and /g/ is played, people hear /d/. The word Dane in other words also rhymes with bane and gain, with a one phoneme difference right at the beginning.

Figure 1: The McGurk effect happens when there is a mismatch between a phoneme that is articulated in a visual presentation and different phoneme is played simultaneously through speakers. With phonemes that share certain articulation properties, the result heard may not match either of the mismatching stimuli. In the mismatch causes a third sound to be heard. Specifically, a visual /g/ with an auditory /b/ causes the phoneme /d/ to be heard. This is why a visual gain with an auditory bane results in Dane being heard. Similarly, a visual /k/ with an auditory /p/ leads the sound /t/ to be heard. That's why can/pan produces tan in the McGurk effect.

Why do conflicting /b/ and /g/ produce a /d/ specifically? Well, /b/, /g/, and /d/ are really not that different from one another, especially in terms of how they are produced. The three basically involve moving the same amount of air from a person's larynx through their mouth, with just a difference in where the speaker places a small obstruction. When someone makes a /b/ sound, they use their lips to obstruct the air; this is known as a labial point of articulation. For a /g/ sound, the point of articulation is palatal-it is far in the back of the mouth. And for a /d/ sound, the point of articulation is known as dental because people obstruct airflow through the mouth by touching their tongues to the top teeth. Figure 2 shows the relative points of articulation for the six phonemes in the McGurk effect.

Figure 2: Humans produce sounds by moving air through their throats and mouth. This involves vibrations in the larynx. A given set of vibrations produced in the larynx can produce multiple different phonemes by obstructing the flow of air. The place where an obstruction is placed to create a specific sound is called the point of articulation. Three important points of articulation are known as labial, referring to the lips; dental, referring to the teeth; and palatal, referring to the palate, or the back roof of the mouth. The figure shows how the phonemes produced and heard in the McGurk effect differ in terms of their points of articulation.

Now that you know a bit about how these sounds are produced, the logic of the McGurk effect should be more apparent. It works like this: Your brain knows that some phonemes are actually pretty similar to one another. In the McGurk effect the word bane is played to the observer, led off by a /b/ sound. But the face in the video is moving their mouth as they would to make a /g/ sound, and the word gain. The brain therefore receives conflicting inputs from the eyes and ears. To resolve the conflict, the brain comes to the conclusion that the truth is probably someplace in between. Since /d/ is the sound between /b/ and /g/-in terms of production-that's what people hear. The same explanation applies for turning the conflict between pan and can into tan. /p/ is a labial sound, and /k/ is a palatal sound. The dental one in between is /t/.

Ein Ort, dass der McGurk-Effekt wichtig wurde ist verstehen, wie sehr junge Säuglinge gesprochene Sprache lernen. Eine Studie im Jahr 1997 war in der Lage zu zeigen, dass sogar 5 Monate alte Säuglinge den McGurk-Effekt wahrnehmen. ² Dies ist wichtig, denn es suggeriert, dass visuelle Informationen von Säuglingen verwendet werden können, um eine große Herausforderung, lernen Sprache analysieren einen kontinuierliche Audiostream in ihren Einheiten zu lösen. Denken Sie an wie eine Fremdsprache mit der normalen Geschwindigkeit wie so ein Durcheinander erscheinen, dass Sie nicht einmal wissen vielleicht, wo die Wortgrenzen sind. Nun, wenn alle Sprachen sind Säuglinge fremd, wie sie herausfinden wo die Worte sind? Der McGurk-Effekt schlägt vor, dass sie auf Gesichts Artikulation Muster verlassen können.

1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.