JoVE Logo
Autoren
Kontakt

Anmelden

Zum Anzeigen dieser Inhalte ist ein JoVE-Abonnement erforderlich. Melden Sie sich an oder starten Sie Ihre kostenlose Testversion.

In diesem Artikel

  • Zusammenfassung
  • Zusammenfassung
  • Einleitung
  • Protokoll
  • Ergebnisse
  • Diskussion
  • Offenlegungen
  • Danksagungen
  • Materialien
  • Referenzen
  • Nachdrucke und Genehmigungen

Zusammenfassung

Hier stellen wir ein Protokoll vor, das die Sichtbarkeit von Gesprächspartnern manipuliert, um deren Einfluss auf die Gestenproduktion in der zwischenmenschlichen Kommunikation zu untersuchen. Dieses Protokoll ist flexibel in Bezug auf implementierte Aufgaben, untersuchte Gesten und Kommunikationsmodalitäten. Es ist ideal für Bevölkerungsgruppen mit Kommunikationsproblemen, wie z. B. Zweitsprachlerner und Personen mit Autismus-Spektrum-Störung.

Zusammenfassung

Zu verstehen, warum Sprecher ihre Co-Speech-Handgesten ändern, wenn sie mit Gesprächspartnern sprechen, bietet wertvolle Einblicke in die Frage, wie diese Gesten zur zwischenmenschlichen Kommunikation in persönlichen und virtuellen Kontexten beitragen. Die aktuellen Protokolle manipulieren die Sichtbarkeit von Sprechern und ihren Gesprächspartnern im direkten Kontext, um den Einfluss der Sichtbarkeit auf die Gestenproduktion zu untersuchen, wenn die Kommunikation eine Herausforderung darstellt. In diesen Protokollen erledigen die Sprecher Aufgaben wie das Unterrichten von Wörtern aus einer unbekannten Zweitsprache oder das Erzählen von Ereignissen in Cartoon-Vignetten an einen Gesprächspartner, der entweder ein anderer Teilnehmer oder ein Verbündeter ist. Beim Ausführen dieser Aufgaben sind die Sprecher für ihren Gesprächspartner sichtbar oder nicht sichtbar, und der Sprecher ist für den Teilnehmer sichtbar oder nicht sichtbar. In der Wortlernaufgabe produzieren Sprecher und Gesprächspartner, die füreinander sichtbar sind, mehr repräsentationale Gesten, die über Handform und Bewegung Bedeutung vermitteln, und deiktische (zeigende) Gesten als Sprecher und Gesprächspartner, die füreinander nicht sichtbar sind. Im narrativen Nacherzählprotokoll produzierten Jugendliche mit Autismus-Spektrum-Störung (ASS) mehr Gesten, wenn sie mit sichtbaren Gesprächspartnern sprachen, als mit nicht sichtbaren Gesprächspartnern. Eine große Stärke des aktuellen Protokolls ist seine Flexibilität in Bezug auf die untersuchten Aufgaben, Populationen und Gesten, und das aktuelle Protokoll kann sowohl in Videokonferenzen als auch in persönlichen Kontexten implementiert werden. Daher hat das aktuelle Protokoll das Potenzial, das Verständnis der Gestenproduktion zu verbessern, indem es ihre Rolle in der zwischenmenschlichen Kommunikation in Bevölkerungsgruppen mit Kommunikationsproblemen aufzeigt.

Einleitung

Co-Speech-Gesten (früher Gesten) - bedeutungsvolle Handbewegungen, die gleichzeitig mit der Sprache ausgeführt werden - tragen zur zwischenmenschlichen Kommunikation bei, indem sie Informationen vermitteln, die verbale Inhalte ergänzen1. Nach der am weitesten verbreiteten Taxonomie 2,3 lassen sich Gesten in drei Kategorien einteilen: repräsentationale Gesten, die Referenten über ihre Form und Bewegung vermitteln (z.B. das gemeinsame Hin- und Herflattern der Hände, um das Fliegen zu vermitteln); Beat-Gesten, die durch einfache punktuelle Bewegungen Betonung vermitteln (z. B. die dominante Hand in Verbindung mit jedem Wort in der Phrase "right now" leicht nach unten bewegen); und deiktische Gesten, die durch Zeigen auf die An- oder Abwesenheit einer Entität aufmerksam machen (z. B. den Daumen nach hinten schwingen, um etwas hinter sich zu zeigen). Repräsentationale Gesten können weiter in zwei weitere Kategorien unterteilt werden: ikonische Gesten, die konkrete Bezüge vermitteln (z. B. ein Vogel), und metaphorische Gesten, die metaphorische Bezüge vermitteln (z. B. Ekstase). Da Gestik und Rede aus demselben begrifflichen Gehalt hervorgehen, sind sie in ihrer Bedeutung eng miteinander verwandt 4,5. Indem sie als ikonisches visuelles Medium für die Kommunikation dienen, können Gesten dazu beitragen, Herausforderungen beim Verstehen der gesprochenen Sprachezu kompensieren 6, sei es aufgrund individueller Faktoren wie begrenzter Kenntnisse der gesprochenen Sprache7,8 oder Umweltfaktoren wie Schwierigkeiten beim Hörenvon Sprache 9,10. Gesten sind daher ein wesentlicher Bestandteil des Verständnisses zwischenmenschlicher Kommunikation in persönlichen und virtuellen Kontexten und geben Aufschluss darüber, wie Sprecher und Zuhörer Informationen multimodal vermitteln und verstehen.

Es wurden mehrere strukturierte interaktive Aufgaben entwickelt, um zu messen, wie sich Gesten auf die zwischenmenschliche Kommunikation auswirken. Zu diesen Aufgaben gehören Interviews, in denen die Teilnehmer auf Fragen antworten, indem sie ihre persönlichen Erfahrungen beschreiben11,12; Bildbeschreibung, bei der den Teilnehmern ein statisches Bild präsentiert wird, um zu beschreiben13,14; Puzzle Solving, bei dem die Teilnehmer beschreiben, wie man ein Rätsel löst, indem sie Komponenten räumlich richtig ausrichten15,16; Regiebereitstellung, bei der die Teilnehmer angewiesen werden, Anweisungen zu einem Ort zu geben, der den Zuhörern unbekannt ist 17,18,19; und narrative Nacherzählung, bei der die Teilnehmer eine Karikatur betrachten, die eine Abfolge von Ereignissen darstellt, und diese anschließend erzählen 20,21,22. Viele der Aufgaben, die in den oben zitierten Studien angewandt werden, beziehen räumliche Inhalte und Handlungen mit ein, die durch die Geste besonders wirksam vermitteltwerden 15,23,24,25. In den Aufgaben für die oben zitierten Studien produzieren die Teilnehmer typischerweise Gesten in Verbindung mit Sprache, und Informationen, die über Gesten vermittelt werden, und ihre Beziehung zur gleichzeitig produzierten Sprache werden bewertet. Alternativ können die Teilnehmer eine Aufzeichnung von jemandem ansehen, der gestikuliert (oder nicht gestikuliert) und Sprache produziert, wenn eine dieser Aufgaben erledigt wird, woraufhin das Verständnis der Teilnehmer bewertet wird. Alle diese Aufgaben können sowohl virtuell als auch von Angesicht zu Angesicht durchgeführt werden, was eine Datenerfassung von einem breiten Spektrum von Teilnehmern und einen Vergleich zwischen verschiedenen Modalitäten ermöglicht.

Die Wirkung von Gesten auf die zwischenmenschliche Kommunikation wurde mit einem breiten Spektrum von Teilnehmern umgesetzt. Von besonderem Interesse waren Bevölkerungsgruppen mit Kommunikationsproblemen, darunter Kleinkinder 26,27,28,29,30, Zweitsprachennutzer (L2) 8,31,32,33, Personen mit Autismus-Spektrum-Störung (ASD)20,21,22,34, Personen mit spezifischen Sprachbehinderung 35,36,37, Personen mit Aphasie 12,38, Personen mit Hirnverletzungen39 und Personen mit Stottern40,41. Diese Arbeit hat gezeigt, dass viele dieser Bevölkerungsgruppen zwar Gesten nutzen können, um die Kommunikation zu erleichtern, einige, wie z. B. Personen mit Autismus-Spektrum-Störung, jedoch Schwierigkeiten haben können, Gesten für eine effektive Kommunikation zu nutzen. Die Ergebnisse deuten darauf hin, dass dies auf das Ausmaß zurückzuführen sein könnte, in dem diese Populationen das Design des Publikums und Umwelthinweise berücksichtigen, was die praktischen Implikationen dieser Erklärungen für die Auswirkungen von Gesten auf die Kommunikation hervorhebt.

Ein wichtiges Merkmal, das Aufschluss über die Auswirkungen von Gesten auf die zwischenmenschliche Kommunikation gibt, ist die Sichtbarkeit des Gesprächspartners. Eine Frage von großer Bedeutung im Bereich der Gestenforschung ist das Ausmaß, in dem die Teilnehmer zu ihrem eigenen Vorteil gestikulieren, was auf die Ablagerung kognitiver Operationen auf den Körper hinweist, im Gegensatz zum Nutzen ihrer Gesprächspartner, was auf die Verwendung von Gesten zur Kommunikation hinweist. Dieser Frage wurde nachgegangen, indem der Einfluss der (Nicht-)Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in Face-to-Face-Kontexten durch die Verwendung einer undurchsichtigen Trennwand26,42 sowie in telefonischen Kontexten13 und virtuellen Kontexten43 untersucht wurde. Insgesamt deuten die Ergebnisse dieser Arbeit darauf hin, dass Sprecher, obwohl sie zu ihrem eigenen Vorteil gestikulieren, mehr repräsentative Gesten produzieren, wenn sie mit sichtbaren Gesprächspartnern kommunizieren als mit nicht-sichtbaren Gesprächspartnern, während die Produktion von Beat-Gesten unabhängig von der Sichtbarkeit des Gesprächspartners ähnlich ist. Sie legen daher nahe, dass repräsentationale Gesten die Kommunikation über eine Vielzahl von Kontexten hinweg erleichtern, was darauf hindeutet, dass Sprecher die Perspektive ihrer Gesprächspartner berücksichtigen und ihre Gestenproduktion entsprechend anpassen. Obwohl frühere Forschungen, die die Wirkung der Sichtbarkeit von Gesprächspartnern untersuchten, maßgeblich dazu beigetragen haben, Einblicke in die Beiträge von Gesten zur zwischenmenschlichen Kommunikation zu erhalten, konzentrierten sie sich auf Englisch als Erstsprache (L1) in typischerweise sich entwickelnden Bevölkerungen, so dass unklar ist, ob die Ergebnisse auf Populationen mit Kommunikationsproblemen ausgeweitet werden können. Zwei dieser Populationen sind L2-Lernende, die Schwierigkeiten haben können, sich durch Sprache in der Zielsprache zu verständigen, und Kinder mit ASS, deren verbale und nonverbale Kommunikation abnormal ist. Darüber hinaus gibt es nur wenige Forschungsarbeiten, die den Einfluss der Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in virtuellen Kontexten untersuchen, die es ermöglichen, die Wirkung der Sichtbarkeit des Gesprächspartners auf den Teilnehmer von der Wirkung der Sichtbarkeit des Teilnehmers auf den Gesprächspartner zu trennen, so dass die Replizierbarkeit von Erkenntnissen aus diesen Kontexten derzeit unklar ist. Schließlich haben sich einige Forschungen auf die Auswirkungen der Sichtbarkeit des Gesprächspartners auf die Produktion bestimmter Arten von Gesten konzentriert, so dass unklar ist, ob die Produktion anderer Arten von Gesten in ähnlicher Weise von der Sichtbarkeit des Gesprächspartners beeinflusst wird.

Die unten beschriebenen Protokolle manipulieren die Sichtbarkeit des Gesprächspartners, um die Gestenproduktion unter schwierigen Umständen zu untersuchen: L2-Wortlernen und narratives Nacherzählen von Personen mit ASS. Das L2-Wortlernprotokoll schlägt eine Brücke zwischen der Forschung, die den Einfluss des Beobachtens von Gesten auf das Lernen von L2-Wörtern untersucht, und der Forschung, die den Beitrag von Gesten zur Kommunikation über ein interaktives Wortlernparadigma untersucht. In diesem Paradigma lernen Teilnehmer, die mit der Zielsprache nicht vertraut sind, Wörter in der Zielsprache und lehren diese Wörter dann anderen Teilnehmern, die mit der Zielsprache nicht vertraut sind, wodurch der Einfluss der Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in den frühesten Stadien des L2-Erwerbs in einem Gesprächskontext untersucht werden kann. Das Paradigma des Nacherzählens von Karikaturen bedient sich einer weit verbreiteten narrativen Nacherzählaufgabe, bei der Unterschiede in der Gestenproduktion beobachtet wurden, wenn die Sichtbarkeit des Gesprächspartners bei einer neuen Population manipuliert wird: Jugendlichen mit ASS. Diese Population ist von Interesse, da die Sprachentwicklung, einschließlich der Gestenproduktion, im Jugendalter ausgereift ist und ASS Schwierigkeiten bei der verbalen und nonverbalen Kommunikation, einschließlich Gesten, sowie einen Mangel an Sensibilität für die kommunikativen Bedürfnisse der Gesprächspartner mit sich bringt. Zusammen geben diese Protokolle Aufschluss darüber, inwiefern die Gestenproduktion von Sprache abhängig ist und diese umgekehrt kompensieren kann, wenn die zwischenmenschliche Kommunikation eine Herausforderung darstellt.

Basierend auf Ergebnissen, die zeigten, wie sich die Sichtbarkeit der Zuhörer auf die Gestenproduktion von L1-Englischsprechern auswirkt 13,26,42,43, wurde die Hypothese aufgestellt, dass die Teilnehmer mehr allgemeine Gesten und mehr repräsentative Gesten produzierten, wenn sie L2-Wörter mit einem sichtbaren als mit einem nicht sichtbaren Gesprächspartner diskutierten. Basierend auf Befunden, die Anomalien in der Gestenproduktion bei ASD zeigten20,44, wurde die Hypothese aufgestellt, dass Jugendliche mit ASS insgesamt weniger Gesten sowie weniger repräsentationale und deiktische Gesten produzieren als sich typischerweise entwickelnde (TD) Jugendliche. Darüber hinaus wurde auf der Grundlage von Befunden, die zeigten, dass ASS Schwierigkeiten beim Perspektivnehmen mit sich bringt45, die Hypothese aufgestellt, dass sich die Gestenproduktion von Jugendlichen mit ASS in Gegenwart von sichtbaren und nicht sichtbaren Gesprächspartnern nicht signifikant unterscheidet. Schließlich wurde eine Wechselwirkung zwischen Diagnose und Sichtbarkeit vorhergesagt, so dass sich die Gestenproduktion bei Jugendlichen mit ASS nicht durch die Sichtbarkeit unterscheidet, bei TD-Jugendlichen jedoch schon.

Access restricted. Please log in or start a trial to view this content.

Protokoll

Alle Teilnehmer gaben eine schriftliche Zustimmung, und alle Protokolle wurden von den institutionellen Prüfungsausschüssen der gastgebenden Institution genehmigt. Die L2-Wortlern- und Cartoon-Nacherzählprotokolle wurden in den Studien implementiert, auf denen die repräsentativen Ergebnisse basieren21,33. Obwohl diese Protokolle bisher nur in persönlichen Kontexten durchgeführt wurden, wird derzeit ein verwandtes Protokoll durchgeführt, das die Sichtbarkeit des Gesprächspartners und des Teilnehmers unabhängig voneinander manipuliert, das hier nicht beschrieben wird, um Einblicke in die Replizierbarkeit in diesem Zusammenhang zu geben, mit Plänen, es auf Bevölkerungsgruppen mit Kommunikationsproblemen auszuweiten, wie z. B. Personen mit ASS.

1. Teilnehmer

HINWEIS: Unter Berücksichtigung der für jede Studie erforderlichen Einschränkungen hinsichtlich der Teilnehmermerkmale sollten die Stichproben so weit wie möglich repräsentativ für die größere Grundgesamtheit sein.

  1. Rekrutierung von Teilnehmern für das L2-Wortlernprotokoll
    1. Rekrutieren Sie Teilnehmer ab 18 Jahren mit normalem oder korrigiertem Sehvermögen und normalem Gehör, die L1-Sprecher des Englischen sind. Um sicherzustellen, dass die Studie den Einfluss von Gesten auf das Erlernen von L2-Wörtern in der Anfangsphase untersucht, rekrutieren Sie Teilnehmer ohne Kenntnisse der Zielsprache Ungarisch.
  2. Rekrutierung von Teilnehmern für das Protokoll zur Nacherzählung von Cartoons
    1. Rekrutieren Sie Teilnehmer in einem Alter, das in der Lage ist, die experimentelle Aufgabe abzuschließen (10-20 Jahre in Morett et al.21), bei denen ASS diagnostiziert wurde oder die sich typischerweise entwickeln (TD).
      1. Um sicherzustellen, dass die Teilnehmer die experimentelle Aufgabe erfolgreich abschließen können, rekrutieren Sie Teilnehmer, die L1-Sprecher des Englischen sind, über normales Sehvermögen und normales Gehör verfügen und einen IQ von 85 oder mehr haben, der vor oder zum Zeitpunkt der Studie über eine standardisierte Bewertung gemessen wurde46.
      2. Um sicherzustellen, dass die Studie die spezifischen Auswirkungen von ASD auf die Gestenproduktion untersucht, rekrutieren Sie Teilnehmer mit ASD ohne Epilepsie, Meningitis, Enzephalitis, Diabetes, desintegrative Störung im Kindesalter oder tiefgreifende Entwicklungsstörung - nicht anders spezifiziert (PDD-NOS).
      3. Um sicherzustellen, dass die Gestenproduktion bei ASS mit der typischen Gestenproduktion verglichen werden kann, rekrutieren Sie TD-Teilnehmer ohne komorbide psychiatrische Störungen oder Verwandte ersten Grades, bei denen tiefgreifende Entwicklungsstörungen diagnostiziert wurden.

2. Überblick über die Sichtbarkeitsmanipulation

  1. Rekrutieren Sie Teilnehmer in Paaren, wenn die Auswirkungen der Produktion und Beobachtung spontaner Gesten untersucht werden, wie im L2-Wortlernprotokoll. Rekrutieren Sie die Teilnehmer individuell in Abstimmung mit einem wissenschaftlichen Mitarbeiter, der als Teilnehmer fungiert, wenn nur die Auswirkungen der Produktion spontaner Gesten untersucht werden, wie im Cartoon-Nacherzählprotokoll.
  2. Stellen Sie den Teilnehmern eine Einverständniserklärung mit Informationen über die Studie zur Verfügung, damit sie unterschreiben und alle Fragen dazu beantworten können, wobei darauf zu achten ist, dass der Schwerpunkt der Studie auf der Gestenproduktion nicht preisgegeben wird. Sammeln Sie das Formular, nachdem die Teilnehmer es unterschrieben haben.
  3. Verwenden Sie für Teilnehmer, die in Paaren rekrutiert werden, eine Auswahlmethode, z. B. einen Münzwurf, um zu bestimmen, welcher Teilnehmer als Sprecher fungieren wird, wer in der experimentellen Aufgabe den größten Teil des Sprechens übernimmt und welcher Teilnehmer als Gesprächspartner fungiert, der den größten Teil des Zuhörens übernimmt und gelegentlich mit dem Sprecher in der experimentellen Aufgabe interagiert. Verwenden Sie für Teilnehmer, die individuell mit einem wissenschaftlichen Mitarbeiter als Teilnehmer rekrutiert werden, eine feste Auswahlmethode, wie z. B. einen manipulierten Münzwurf, um sicherzustellen, dass der Teilnehmer immer als Sprecher und der wissenschaftliche Mitarbeiter immer als Gesprächspartner fungiert.
  4. Platzieren Sie in der Hälfte der experimentellen Sitzungen eine undurchsichtige Trennwand zwischen dem Sprecher und dem Gesprächspartner, um sicherzustellen, dass sie das Gesicht oder die Hände des anderen nicht sehen können.
  5. Erklären Sie den Teilnehmern, was sie in der experimentellen Aufgabe tun werden, und beantworten Sie alle Fragen dazu. Informieren Sie die Teilnehmer darüber, dass ihre Rede aufgezeichnet wird, und weisen Sie auf das dafür verwendete Mikrofon hin. Um Auswirkungen des Bewusstseins der Videoaufzeichnung auf die Gestenproduktion zu vermeiden, informieren Sie die Teilnehmer nicht darüber, dass sie auf Video aufgezeichnet werden, und stellen Sie sicher, dass die zu diesem Zweck verwendete Videokamera für die Teilnehmer nicht sichtbar ist.
  6. Starten Sie die Video- und Audioaufnahme, indem Sie die entsprechenden Tasten drücken. Implementieren Sie die experimentelle Aufgabe, um dem Sprecher und dem teilnehmenden Gesprächspartner Sprache und Gesten zu entlocken, falls vorhanden.
  7. Wenn ein Design innerhalb der Teilnehmer verwendet wird, entfernen Sie die undurchsichtige Trennlinie, wenn sie in der ersten Iteration verwendet wurde, oder platzieren Sie sie zwischen dem Sprecher und dem Gesprächspartner, wenn sie in der ersten Iteration nicht verwendet wurde.
  8. Wiederholen Sie die experimentelle Aufgabe nach Bedarf, bis alle Reize erschöpft sind.
  9. Stoppen Sie die Video- und Audioaufnahme, indem Sie die entsprechenden Tasten drücken. Informieren Sie die Teilnehmer darüber, dass sich die Studie auf Gesten konzentrierte und dass sie auf Video aufgezeichnet wurden, und bieten Sie an, ihre Videos vor der Datenanalyse zu löschen, falls gewünscht.
  10. Beantworten Sie alle Fragen der Teilnehmer und bedanken Sie sich für ihre Teilnahme, bevor Sie sie abtun.

3. L2-Wortlernprotokoll

  1. Video und Audio zeichnen den Sprecher und Gesprächspartner auf, so dass die Sprach- und Gestenproduktion während der experimentellen Aufgabe später analysiert werden kann.
    1. Platzieren Sie ein Tischmikrofon zwischen dem Lautsprecher und dem Gesprächspartner für die Audioaufnahme. Platzieren Sie eine Videokamera in einem 90°-Winkel seitlich zwischen Sprecher und Gesprächspartner und stellen Sie sicher, dass sie für die Teilnehmer nicht sichtbar ist.
    2. Stellen Sie außerdem sicher, dass sowohl der Sprecher als auch der Gesprächspartner im Sichtbereich der Videokamera enthalten sind und dass der Computerbildschirm im Sichtbereich der Videokamera nicht sichtbar ist, um die Blindheit gegenüber dem Zustand zu wahren, in dem L2-Wörter in der Analyse dargestellt werden.
  2. Präsentieren Sie dem Sprecher mit Hilfe eines Computers über Kopfhörer ein L2-Wort aus der Zielsprache akustisch, um sicherzustellen, dass es für den Gesprächspartner unhörbar ist, damit der Sprecher es anschließend dem Gesprächspartner beibringen kann. Präsentieren Sie gleichzeitig entweder ein Video eines L1-Sprechers der Zielsprache, der das L2-Wort sagt und eine repräsentative Geste erzeugt, die seine Bedeutung mit dem Text des L2-Wortes am unteren Bildschirmrand vermittelt, oder das L2-Wort als Text in der Mitte des Bildschirms ohne Video an den Sprecher.
  3. Präsentieren Sie nach einer Pause von 500 ms die L1-Übersetzung des L2-Wortes als Text in der Mitte des Bildschirms für 2000 ms in den Lautsprecher.
  4. Fordern Sie den Erklärer auf, dem Gesprächspartner das L2-Wort und seine Bedeutung durch Sprache und/oder Gesten beizubringen.
  5. Weisen Sie den Lautsprecher an, eine Taste zu drücken, um fortzufahren, wenn Sie bereit sind. Nachdem der Sprecher dies getan hat, präsentieren Sie ein weiteres L2-Wort. Wiederholen Sie diesen Vorgang, bis alle 20 L2-Wörter in zufälliger Reihenfolge präsentiert wurden.
  6. Testen Sie individuell das Wissen des Sprechers und des Gesprächspartners über die L2-Wörter, die in der experimentellen Aufgabe vorgestellt werden, indem Sie jedes L2-Wort als Text präsentieren und sie auffordern, seine L1-Übersetzung zu sagen oder das Wort zu überspringen, wenn sie sich nicht an die Übersetzung erinnern.

4. Protokoll zur Nacherzählung von Cartoons

  1. Wenn der IQ des Teilnehmers noch nicht über eine standardisierte IQ-Bewertung gemessen wurde, führen Sie eine solche durch, um sicherzustellen, dass sein IQ 85 oder mehr beträgt.
  2. Video und Audio zeichnen die Teilnehmer auf, damit ihre Sprach- und Gestenproduktion später analysiert werden kann. Platzieren Sie ein Tischmikrofon vor dem Teilnehmer für die Audioaufnahme. Platzieren Sie eine Kamera auf einer Seite des Teilnehmers in einem 90°-Winkel und stellen Sie sicher, dass die Kamera für den Teilnehmer nicht sichtbar ist.
  3. Präsentieren Sie dem Teilnehmer die erste Hälfte des Looney Tunes-Zeichentrickfilms Canary Row. Diese Hälfte des Cartoons enthält mehrere Vignetten, in denen Sylvester, die Katze, versucht, den Tweety-Vogel zu fangen, und dabei scheitert.
  4. Weisen Sie den Teilnehmer an, dem Gesprächspartner die Ereignisse der ersten Hälfte des Cartoons so detailliert wie möglich zu erzählen. Weisen Sie den Gesprächspartner an, sich die Erzählung des Teilnehmers anzuhören, und fordern Sie ihn auf, mehr zu sagen, wenn sie kurz ist.
  5. Wiederholen Sie die Schritte 4.1. und 4.2. für die zweite Hälfte des Canary Row-Videos, das mehrere weitere Vignetten enthält, in denen Sylvester, die Katze, versucht, den Tweety-Vogel zu fangen, und dabei scheitert.

5. Transkription und Kodierung

HINWEIS: Um Verzerrungen zu minimieren, transkribieren und kodieren Sie Daten nach Möglichkeit blind, ohne zu wissen, welche Teilnehmer und Studien welchen Bedingungen zugeordnet wurden. Im Idealfall sollten Transkriptoren und Kodierer nicht an der Datenerfassung beteiligt sein.

  1. Transkribieren Sie alle Reden der Teilnehmer orthografisch von Hand mit geeigneter Software nach einem standardisierten Schema, wie z. B. CHAT47, um eine Wortzählung zu erstellen. Transkribieren Sie alle verbalen Informationen, wie z. B. Füllwörter und Korrekturen, aber transkribieren Sie keine Pausen.
  2. Identifizieren und codieren Sie alle Gesten der Teilnehmer, um eine Zählung für jeden Gestentyp zu erstellen. Identifizieren Sie Gesten von Pause zu Pause und kategorisieren Sie sie in vier Typen basierend auf McNeills Taxonomie 2,3: ikonisch, metaphorisch, beat und deiktisch. Beachten Sie, dass einige Gesten als mehr als ein Typ klassifiziert werden können.
  3. Berechnen Sie die Rate der Gesten pro hundert Wörter, indem Sie die Anzahl der darstellenden Gesten durch die Anzahl der Wörter dividieren und sie für jede Vignette mit 100 multiplizieren.
  4. Lassen Sie einen unabhängigen Programmierer die Gesten der Teilnehmer für 25 % der Daten codieren. Berechnen Sie die prozentuale Übereinstimmung für Daten, die von beiden Programmierern codiert wurden, und stellen Sie sicher, dass sie mindestens 80 % beträgt, um eine ausreichende Interrater-Zuverlässigkeit zu gewährleisten.

Access restricted. Please log in or start a trial to view this content.

Ergebnisse

L2-Wortlernen
Implementierung: Die unten berichteten Ergebnisse basieren auf Daten, die von 52 gesunden Teilnehmern (21 Männer, 31 Frauen; Alter: M = 20,15, SD = 1,73, Bereich = 18-28) gemäß dem oben beschriebenen Protokoll gesammelt wurden. Alle Sprechsprachen und Gesten wurden von einem primären Kodierer kodiert, der nicht blind für die Sichtbarkeitsbedingungen sein konnte, da die Daten sowohl des Sprechers als auch des Gesprächspartn...

Access restricted. Please log in or start a trial to view this content.

Diskussion

Das derzeitige Protokoll manipuliert die Sichtbarkeit von Sprecher und Gesprächspartner zueinander und gibt Einblick in seine Auswirkungen auf die Gestenproduktion unter schwierigen Bedingungen: L2-Wortlernen und narratives Nacherzählen von Jugendlichen mit ASS. Dieses Protokoll kann entweder persönlich oder virtuell implementiert werden, so dass die Sichtbarkeit von Teilnehmern und Gesprächspartnern gemeinsam oder unabhängig voneinander manipuliert werden kann. Es kann eine Vielzah...

Access restricted. Please log in or start a trial to view this content.

Offenlegungen

Der Autor hat keine konkurrierenden finanziellen Interessen zu erklären.

Danksagungen

Die Entwicklung und Validierung des L2-Wortlernprotokolls wurde durch ein National Defense Science and Engineering Graduate (NDSEG) Fellowship (32 CFR 168a) unterstützt, das vom Air Force Office of Scientific Research des US-Verteidigungsministeriums vergeben wurde. Die Entwicklung und Validierung des Protokolls zur Nacherzählung von Cartoons mit Jugendlichen mit ASS wurde durch einen Ruth S. Kirschstein Institutional National Research Service Award (T32) der National Institutes of Mental Health unterstützt. Der Autor dankt Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo und Marco Pilotta für ihre Unterstützung bei der Datenerfassung und Codierung.

Access restricted. Please log in or start a trial to view this content.

Materialien

NameCompanyCatalog NumberComments
ComputerAppleZ13124" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphoneTonorB07GVGMW59
ELANThe Language ArchiveSoftware application used to transcribe speech and gesture
Video RecorderVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of IntelligencePearson158981561Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

Referenzen

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Access restricted. Please log in or start a trial to view this content.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Weitere Artikel entdecken

GestenproduktionSichtbarkeitKommunikationsherausforderungenFace to Face KontextVideokonferenzenDarstellende GestenDeiktische GestenAutismus Spektrum St rung ASSWortlernenNarratives Nacherz hlen

This article has been published

Video Coming Soon

JoVE Logo

Datenschutz

Nutzungsbedingungen

Richtlinien

Kontakt

BIBLIOTHEKS-EMPFEHLUNG

JoVE-Newsletter

Forschung

Lehre

Autoren

Bibliothekare

ÜBER JoVE

Copyright © 2025 MyJoVE Corporation. Alle Rechte vorbehalten