Meine Forschung untersucht die kognitiven und neuronalen Mechanismen des Einflusses des Körpers auf die Kommunikation über Handgesten und Gebärdensprache. Ein Hauptaugenmerk meiner Arbeit liegt darauf, wie sich das Verhältnis von Geste und Sprache in typischer und untypischer Sprachentwicklung und -verarbeitung unterscheidet. In vivo neurowissenschaftliche Techniken wie Elektroenzephalographie oder EEG, funktionelle Magnetresonanztomographie oder fMRT und funktionelle Nahinfrarotspektroskopie (fNIRS) haben maßgeblich dazu beigetragen, die neuronalen Mechanismen von Handgesten und Gebärdensprache aufzudecken.
Darüber hinaus bietet Eye-Tracking Einblick in die Echtzeitverarbeitung von Handgesten und Gebärdensprache. Meine Arbeit war die erste, die zeigte, dass das Beobachten von Handgesten, die Tonhöhenkonturen vermitteln, Sprechern atonaler Sprachen wie Englisch hilft, lexikalische Töne und Tonsprachen wie Mandarin zu lernen. Ich verwende derzeit EEG und fNIRS, um die neuronalen Signaturen dieses Effekts zu untersuchen.
Dieses Protokoll bietet die Möglichkeit, die Gestenproduktion bei Kommunikationsherausforderungen zu untersuchen. Ich habe es erfolgreich eingesetzt, um die Gestenproduktion bei Zweitsprachlernern und Personen mit Autismus-Spektrum-Störungen in persönlichen Umgebungen zu untersuchen, und ich plane, es auf weitere Bevölkerungsgruppen und virtuelle Umgebungen auszuweiten. Meine Ergebnisse geben Aufschluss darüber, wie das Beobachten und Produzieren von Handgesten den Spracherwerb und die Sprachverarbeitung erleichtern kann.
Darüber hinaus helfen sie, potenzielle Biomarker für sprachliche Atypizitäten sowie die Wirksamkeit von Behandlungen aufzudecken.
