В своих исследованиях я изучаю когнитивные и нейронные механизмы влияния тела на коммуникацию с помощью жестов рук и языка жестов. Основное внимание в моей работе уделяется тому, как отношения между жестом и речью различаются в типичном и нетипичном развитии и обработке языка. Методы нейробиологии in vivo, такие как электроэнцефалография или ЭЭГ, функциональная магнитно-резонансная томография или фМРТ, а также функциональная спектроскопия в ближнем инфракрасном диапазоне или fNIRS, сыграли важную роль в выявлении нейронных механизмов жестов рук и языка жестов.
Кроме того, отслеживание движения глаз позволяет в режиме реального времени обрабатывать жесты рук и язык жестов. Моя работа была первой, которая показала, что наблюдение за жестами, передающими контуры высоты тона, помогает носителям атональных языков, таких как английский, изучать лексический тон и тональные языки, такие как мандарин. В настоящее время я использую ЭЭГ и fNIRS для исследования нейронных сигнатур этого эффекта.
Этот протокол предоставляет средства для исследования воспроизведения жестов при наличии проблем с коммуникацией. Я успешно использовал его для исследования развития жестов у людей, изучающих второй язык, и людей с расстройствами аутистического спектра в личных условиях, и я планирую расширить его на дополнительные группы населения и виртуальные среды. Мои результаты дают представление о том, как наблюдение и воспроизведение жестов может облегчить усвоение и обработку языка.
Кроме того, они помогают выявить потенциальные биомаркеры языковых атипичностей, а также эффективность лечения.
