Esaminare la produzione gestuale in presenza di sfide comunicative

La mia ricerca esamina i meccanismi cognitivi e neurali dell'impatto del corpo sulla comunicazione attraverso i gesti delle mani e il linguaggio dei segni. Uno dei punti focali del mio lavoro è il modo in cui la relazione tra gesto e parola differisce nello sviluppo e nell'elaborazione del linguaggio tipico e atipico. Le tecniche di neuroscienze in vivo come l'elettroencefalografia o l'EEG, la risonanza magnetica funzionale o fMRI e la spettroscopia funzionale nel vicino infrarosso o fNIRS sono state determinanti per rivelare i meccanismi neurali del gesto della mano e del linguaggio dei segni.

Inoltre, l'eye tracking fornisce informazioni dettagliate sull'elaborazione in tempo reale dei gesti delle mani e della lingua dei segni. Il mio lavoro è stato il primo a dimostrare che osservare i gesti delle mani che trasmettono i contorni dell'altezza aiuta i parlanti di lingue atonali, come l'inglese, a imparare il tono lessicale e le lingue tonali come il mandarino. Attualmente sto utilizzando l'EEG e l'fNIRS per studiare le firme neurali di questo effetto.

Questo protocollo fornisce un mezzo per studiare la produzione di gesti in presenza di problemi di comunicazione. L'ho usato con successo per studiare la produzione di gesti in studenti di seconda lingua e individui con disturbi dello spettro autistico in contesti di persona, e ho intenzione di espanderlo ad altre popolazioni e contesti virtuali. I miei risultati forniscono informazioni su come l'osservazione e la produzione di gesti delle mani possano facilitare l'acquisizione e l'elaborazione del linguaggio.

Inoltre, stanno aiutando a rivelare potenziali biomarcatori delle atipie linguistiche e dell'efficacia del trattamento.