Minha pesquisa examina os mecanismos cognitivos e neurais do impacto do corpo na comunicação por meio de gestos com as mãos e linguagem de sinais. Um dos principais focos do meu trabalho é como a relação entre gesto e fala difere no desenvolvimento e processamento típico e atípico da linguagem. Técnicas de neurociência in vivo, como eletroencefalografia ou EEG, ressonância magnética funcional ou fMRI e espectroscopia funcional de infravermelho próximo ou fNIRS, têm sido fundamentais para revelar os mecanismos neurais do gesto manual e da linguagem de sinais.
Além disso, o rastreamento ocular fornece informações sobre o processamento em tempo real de gestos manuais e linguagem de sinais. Meu trabalho foi o primeiro a mostrar que observar gestos com as mãos que transmitem contornos de tom ajuda falantes de línguas atonais, como o inglês, a aprender o tom lexical e as línguas tonais, como o mandarim. Atualmente, estou usando EEG e fNIRS para investigar as assinaturas neurais desse efeito.
Este protocolo fornece um meio de investigar a produção de gestos na presença de desafios de comunicação. Eu o usei com sucesso para investigar a produção de gestos em alunos de segunda língua e indivíduos com transtornos do espectro do autismo em ambientes presenciais e pretendo expandi-lo para populações adicionais e ambientes virtuais. Minhas descobertas fornecem informações sobre como observar e produzir gestos com as mãos pode facilitar a aquisição e o processamento da linguagem.
Além disso, eles estão ajudando a revelar potenciais biomarcadores de atipicidades de linguagem, bem como eficácia do tratamento.
