JoVE Logo
Autori
Contattaci

Accedi

È necessario avere un abbonamento a JoVE per visualizzare questo. Accedi o inizia la tua prova gratuita.

In questo articolo

  • Riepilogo
  • Abstract
  • Introduzione
  • Protocollo
  • Risultati
  • Discussione
  • Divulgazioni
  • Riconoscimenti
  • Materiali
  • Riferimenti
  • Ristampe e Autorizzazioni

Riepilogo

Qui, presentiamo un protocollo che manipola la visibilità dell'interlocutore per esaminare il suo impatto sulla produzione di gesti nella comunicazione interpersonale. Questo protocollo è flessibile per le attività implementate, i gesti esaminati e la modalità di comunicazione. È ideale per le popolazioni con problemi di comunicazione, come gli studenti di seconda lingua e gli individui con disturbo dello spettro autistico.

Abstract

Capire perché i parlanti modificano i gesti delle mani quando parlano con gli interlocutori fornisce preziose informazioni su come questi gesti contribuiscano alla comunicazione interpersonale in contesti faccia a faccia e virtuali. Gli attuali protocolli manipolano la visibilità dei parlanti e dei loro interlocutori in tandem in un contesto faccia a faccia per esaminare l'impatto della visibilità sulla produzione dei gesti quando la comunicazione è impegnativa. In questi protocolli, i parlanti completano compiti come insegnare parole da una seconda lingua sconosciuta o raccontare gli eventi di vignette di cartoni animati a un interlocutore che è un altro partecipante o un complice. Durante l'esecuzione di queste attività, gli oratori sono visibili o non visibili al loro interlocutore e l'oratore è visibile o non visibile al partecipante. Nel compito di apprendimento delle parole, i parlanti e gli interlocutori visibili l'uno all'altro producono gesti più rappresentativi, che trasmettono il significato attraverso la forma e il movimento della mano, e gesti dittici (indicanti) rispetto ai parlanti e agli interlocutori che non sono visibili l'uno all'altro. Nel protocollo di narrazione narrativa, gli adolescenti con disturbo dello spettro autistico (ASD) hanno prodotto più gesti quando parlavano con interlocutori visibili rispetto agli interlocutori non visibili. Uno dei principali punti di forza dell'attuale protocollo è la sua flessibilità in termini di compiti, popolazioni e gesti esaminati, e l'attuale protocollo può essere implementato sia in videoconferenza che in contesti faccia a faccia. Pertanto, l'attuale protocollo ha il potenziale per far progredire la comprensione della produzione gestuale chiarendo il suo ruolo nella comunicazione interpersonale nelle popolazioni con problemi di comunicazione.

Introduzione

I gesti di co-discorso (in precedenza, gesti) - movimenti significativi delle mani prodotti in concomitanza con il discorso - contribuiscono alla comunicazione interpersonale trasmettendo informazioni che completano il contenuto verbale1. Secondo la tassonomia 2,3 più diffusa, i gesti possono essere suddivisi in tre categorie: gesti rappresentativi, che trasmettono i referenti attraverso la loro forma e movimento (ad esempio, sbattere le mani avanti e indietro insieme per trasmettere il volo); gesti di battimento, che trasmettono enfasi attraverso semplici movimenti di punteggiatura (ad esempio, spostando leggermente la mano dominante verso il basso in combinazione con ogni parola nella frase "proprio ora"); e gesti deittici, che attirano l'attenzione sulla presenza o l'assenza di un'entità attraverso l'indicazione (ad esempio, facendo oscillare il pollice all'indietro per indicare qualcosa dietro di sé). I gesti rappresentativi possono essere ulteriormente suddivisi in due categorie aggiuntive: gesti iconici, che trasmettono referenti concreti (ad esempio, un uccello), e gesti metaforici, che trasmettono referenti metaforici (ad esempio, estasi). Poiché il gesto e la parola derivano dallo stesso contenuto concettuale, sono strettamente correlati nel significato 4,5. Fungendo da mezzo visivo iconico per la comunicazione, i gesti possono aiutare a compensare quando sorgono difficoltà nella comprensione della lingua parlata6, sia a causa di fattori individuali come la limitata competenza nella lingua parlata 7,8 che di fattori ambientali come la difficoltà nell'udire il parlato 9,10. Pertanto, i gesti sono parte integrante della comprensione della comunicazione interpersonale in contesti faccia a faccia e virtuali, fornendo informazioni su come i parlanti e gli ascoltatori trasmettono e comprendono le informazioni in modo multimodale.

Sono stati sviluppati diversi compiti interattivi strutturati per misurare come il gesto influisce sulla comunicazione interpersonale. Questi compiti includono interviste, in cui i partecipanti rispondono alle domande descrivendo le loro esperienze personali11,12; descrizione dell'immagine, in cui viene presentata ai partecipanti un'immagine statica per descrivere13,14; risoluzione di puzzle, in cui i partecipanti descrivono come risolvere un puzzle orientando spazialmente correttamente i componenti 15,16; disposizione di direzione, in cui i partecipanti sono istruiti a dare indicazioni verso un luogo sconosciuto agli ascoltatori 17,18,19; e la rivisitazione narrativa, in cui i partecipanti vedono un cartone animato raffigurante una sequenza di eventi e successivamente li raccontano 20,21,22. Molti dei compiti impiegati negli studi sopra citati incorporano il contenuto spaziale e l'azione, che il gesto trasmette con particolare efficacia 15,23,24,25. Nei compiti per gli studi sopra citati, i partecipanti producono tipicamente gesti in combinazione con il linguaggio, e vengono valutate le informazioni trasmesse attraverso i gesti e la loro relazione con il linguaggio prodotto contemporaneamente. In alternativa, i partecipanti possono visualizzare una registrazione di qualcuno che gesticola (o non gesticola) e produce linguaggio durante il completamento di uno di questi compiti, dopodiché viene valutata la comprensione dei partecipanti. Tutte queste attività possono essere svolte sia virtualmente che faccia a faccia, consentendo la raccolta di dati da un'ampia gamma di partecipanti e il confronto tra le modalità.

L'impatto dei gesti sulla comunicazione interpersonale è stato implementato con un'ampia gamma di partecipanti. Di particolare interesse sono state le popolazioni con difficoltà di comunicazione, tra cui i bambini piccoli 26,27,28,29,30, gli utenti di una seconda lingua (L2) 8,31,32,33, gli individui con disturbo dello spettro autistico (ASD)20,21,22,34, gli individui con specifiche disturbi del linguaggio 35,36,37, individui con afasia 12,38, individui con lesione cerebrale39 e individui che balbettano40,41. Questo lavoro ha rivelato che, mentre molte di queste popolazioni possono utilizzare i gesti per facilitare la comunicazione, alcuni, come gli individui con disturbo dello spettro autistico, possono incontrare difficoltà a sfruttare i gesti per comunicare in modo efficace. I risultati suggeriscono che ciò potrebbe essere dovuto alla misura in cui queste popolazioni prendono in considerazione il design del pubblico e gli spunti ambientali, evidenziando le implicazioni pratiche di queste spiegazioni per l'impatto dei gesti sulla comunicazione.

Una caratteristica chiave che fornisce informazioni sull'impatto dei gesti sulla comunicazione interpersonale è la visibilità dell'interlocutore. Una questione di grande importanza nel campo della ricerca sul gesto è la misura in cui i partecipanti gesticolano a proprio vantaggio, indicando lo scarico delle operazioni cognitive sul corpo, rispetto al beneficio dei loro interlocutori, indicando l'uso del gesto per comunicare. Questa domanda è stata indagata esaminando l'impatto della (non) visibilità dell'interlocutore sulla produzione di gesti in contesti faccia a faccia attraverso l'uso di una partizione opaca 26,42, così come in contesti telefonici13 e in contesti virtuali43. Nel complesso, i risultati di questo lavoro indicano che, sebbene i parlanti gesticolino a proprio vantaggio, producono gesti più rappresentativi quando comunicano con interlocutori visibili rispetto a quelli non visibili, mentre la produzione di gesti di battito è simile indipendentemente dalla visibilità dell'interlocutore. Pertanto, suggeriscono che il gesto rappresentativo facilita la comunicazione in una varietà di contesti, suggerendo che i parlanti tengano conto della prospettiva dei loro interlocutori e modifichino di conseguenza la loro produzione gestuale. Sebbene la ricerca precedente che esamina l'effetto della visibilità dell'interlocutore sia stata determinante nel fornire informazioni sui contributi del gesto alla comunicazione interpersonale, si è concentrata sull'inglese come prima lingua (L1) nelle popolazioni in via di sviluppo, quindi non è chiaro se i risultati possano essere estesi alle popolazioni con problemi di comunicazione. Due di queste popolazioni sono gli studenti L2, che possono avere difficoltà a comunicare con la parola nella lingua di destinazione, e i bambini con ASD, la cui comunicazione verbale e non verbale è anormale. Inoltre, poche ricerche hanno esaminato l'impatto della visibilità dell'interlocutore sulla produzione di gesti in contesti virtuali, che consentono di districare l'effetto della visibilità dell'interlocutore sul partecipante dall'effetto della visibilità del partecipante sull'interlocutore, quindi la replicabilità dei risultati di questi contesti non è attualmente chiara. Infine, alcune ricerche si sono concentrate sull'impatto della visibilità dell'interlocutore sulla produzione di specifici tipi di gesti, quindi non è chiaro se la produzione di altri tipi di gesti sia influenzata in modo simile dalla visibilità dell'interlocutore.

I protocolli descritti di seguito manipolano la visibilità dell'interlocutore per esaminare la produzione di gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di individui con ASD. Il protocollo di apprendimento delle parole L2 collega la ricerca che esamina l'impatto dell'osservazione dei gesti sull'apprendimento delle parole L2 con la ricerca che esamina il contributo dei gesti alla comunicazione attraverso un paradigma interattivo di apprendimento delle parole. In questo paradigma, i partecipanti che non hanno familiarità con la lingua target imparano parole in essa contenute e poi insegnano queste parole ad altri partecipanti che non hanno familiarità con la lingua target, consentendo di esaminare l'impatto della visibilità dell'interlocutore sulla produzione dei gesti nelle prime fasi dell'acquisizione della L2 in un contesto conversazionale. Il paradigma della rivisitazione dei cartoni animati impiega un compito di narrazione narrativa ampiamente utilizzato in cui sono state osservate differenze nella produzione dei gesti quando la visibilità dell'interlocutore viene manipolata con una nuova popolazione: gli adolescenti con ASD. Questa popolazione è interessante perché lo sviluppo del linguaggio, compresa la produzione di gesti, è maturo entro l'adolescenza e l'ASD comporta difficoltà con la comunicazione verbale e non verbale, compresi i gesti, nonché una mancanza di sensibilità alle esigenze comunicative degli interlocutori. Insieme, questi protocolli forniscono informazioni sulla misura in cui la produzione di gesti dipende dal parlato e, al contrario, può compensare quando la comunicazione interpersonale è impegnativa.

Sulla base dei risultati che dimostrano come la visibilità dell'ascoltatore influenzi la produzione di gesti da parte degli anglofoni L1 13,26,42,43, è stato ipotizzato che i partecipanti avrebbero prodotto più gesti complessivi e gesti più rappresentativi quando discutevano di parole L2 con un interlocutore visibile rispetto a uno non visibile. Sulla base dei risultati che dimostrano anomalie nella produzione di gesti in ASD20,44, è stato ipotizzato che gli adolescenti con ASD produrrebbero meno gesti complessivi e meno gesti rappresentativi e deittici rispetto agli adolescenti a sviluppo tipico (TD). Inoltre, sulla base dei risultati che dimostrano che l'ASD comporta difficoltà con l'assunzione della prospettiva45, è stato ipotizzato che la produzione di gesti da parte degli adolescenti con ASD non differirebbe significativamente in presenza di interlocutori visibili e non visibili. Infine, è stata prevista un'interazione tra diagnosi e visibilità, in modo tale che la produzione dei gesti non differisca in base alla visibilità per gli adolescenti con ASD, ma per gli adolescenti TD.

Access restricted. Please log in or start a trial to view this content.

Protocollo

Tutti i partecipanti hanno fornito il consenso scritto e tutti i protocolli sono stati approvati dai comitati di revisione istituzionale presso l'istituzione ospitante. I protocolli di apprendimento delle parole L2 e di retelling dei cartoni animati sono stati implementati negli studi su cui si basano i risultati rappresentativi21,33. Sebbene questi protocolli siano stati condotti solo in contesti di persona fino ad oggi, è attualmente in corso un protocollo correlato che manipola la visibilità dell'interlocutore e del partecipante in modo indipendente, non descritto qui, per fornire informazioni sulla replicabilità in questo contesto, con piani per espanderlo a popolazioni con problemi di comunicazione, come gli individui con ASD.

1. Partecipanti

NOTA: Pur rispettando i vincoli necessari sulle caratteristiche dei partecipanti per ogni studio, i campioni dovrebbero essere per quanto possibile rappresentativi della popolazione più ampia.

  1. Reclutamento dei partecipanti per il protocollo di apprendimento delle parole L2
    1. Reclutare partecipanti di età pari o superiore a 18 anni con vista normale o corretta e udito normale che parlino inglese L1. Per garantire che lo studio esamini l'impatto del gesto sull'apprendimento delle parole L2 nella fase iniziale, reclutare partecipanti senza alcuna conoscenza dell'ungherese, la lingua di destinazione.
  2. Reclutamento dei partecipanti per il protocollo di rivisitazione dei cartoni animati
    1. Reclutare partecipanti di un'età in grado di completare il compito sperimentale (10-20 anni di età in Morett et al.21.) con una diagnosi di ASD o che sono tipicamente in via di sviluppo (TD).
      1. Per garantire che i partecipanti possano completare con successo il compito sperimentale, reclutare partecipanti che parlino inglese L1, abbiano una vista e un udito normali normali o corretti e abbiano un QI su larga scala di 85 o superiore, come misurato prima o al momento dello studio tramite una valutazione standardizzata46.
      2. Per garantire che lo studio esamini gli effetti specifici dell'ASD sulla produzione di gesti, reclutare partecipanti con ASD senza epilessia, meningite, encefalite, diabete, disturbo disintegrativo infantile o disturbo pervasivo dello sviluppo non altrimenti specificato (PDD-NOS).
      3. Per garantire che la produzione di gesti nell'ASD possa essere paragonata alla tipica produzione di gesti, reclutare partecipanti TD senza disturbi psichiatrici in comorbilità o parenti di primo grado con diagnosi di disturbi pervasivi dello sviluppo.

2. Panoramica sulla manipolazione della visibilità

  1. Reclutare i partecipanti in coppia se verranno esaminati gli effetti della produzione e dell'osservazione di gesti spontanei, come nel protocollo di apprendimento delle parole L2. Reclutare i partecipanti individualmente in coordinamento con un assistente di ricerca che funge da partecipante se verranno esaminati solo gli effetti della produzione di gesti spontanei, come nel protocollo di rivisitazione dei cartoni animati.
  2. Fornire un modulo di consenso informato con informazioni sullo studio ai partecipanti per firmare e rispondere a qualsiasi domanda al riguardo, facendo attenzione a non rivelare il focus dello studio sulla produzione di gesti. Raccogli il modulo dopo che i partecipanti lo hanno firmato.
  3. Per i partecipanti reclutati in coppia, utilizzare un metodo di selezione come il lancio di una moneta per determinare quale partecipante fungerà da oratore, chi parlerà per la maggior parte del compito sperimentale e quale partecipante fungerà da interlocutore, chi farà la maggior parte dell'ascolto e occasionalmente interagirà con l'oratore nel compito sperimentale. Per i partecipanti reclutati individualmente con un assistente di ricerca che funge da partecipante, utilizzare un metodo di selezione fisso come il lancio di una moneta truccata per garantire che il partecipante funga sempre da oratore e che l'assistente di ricerca funga sempre da interlocutore.
  4. A metà delle sessioni sperimentali, posiziona un divisorio opaco tra l'oratore e l'interlocutore per assicurarti che non possano vedersi il viso o le mani dell'altro.
  5. Spiega ai partecipanti cosa faranno nel compito sperimentale e rispondi a qualsiasi domanda al riguardo. Informare i partecipanti che il loro discorso sarà registrato in audio, indicando il microfono utilizzato a tale scopo. Per evitare qualsiasi effetto della consapevolezza della registrazione video sulla produzione dei gesti, non informare i partecipanti che saranno videoregistrati e assicurarsi che la videocamera utilizzata a tale scopo non sia visibile ai partecipanti.
  6. Avviare la registrazione video e audio premendo gli appositi pulsanti. Implementa il compito sperimentale per suscitare la parola e il gesto da parte dell'oratore e dell'interlocutore partecipante, se ce n'è uno.
  7. Se viene utilizzato un design all'interno dei partecipanti, rimuovere il divisore opaco se utilizzato nella prima iterazione o posizionarlo tra l'oratore e l'interlocutore se non utilizzato nella prima iterazione.
  8. Ripetere l'attività sperimentale secondo necessità fino a quando tutti gli stimoli non sono stati esauriti.
  9. Interrompere la registrazione video e audio premendo gli appositi pulsanti. Informare i partecipanti che lo studio si è concentrato sui gesti e che sono stati registrati video e offrire di eliminare i loro video prima dell'analisi dei dati, se lo si desidera.
  10. Rispondi a tutte le domande dei partecipanti e ringraziali per aver partecipato prima di congedarli.

3. Protocollo di apprendimento delle parole L2

  1. Il video e l'audio registrano l'oratore e l'interlocutore in modo che la produzione del parlato e dei gesti durante l'attività sperimentale possa essere analizzata in seguito.
    1. Posiziona un microfono da tavolo tra l'oratore e l'interlocutore per la registrazione audio. Posiziona una videocamera da un lato tra l'oratore e l'interlocutore con un angolo di 90° e assicurati che non sia visibile ai partecipanti.
    2. Inoltre, assicurati che sia l'oratore che l'interlocutore siano inclusi nell'ambito visivo della videocamera e che lo schermo del computer non sia visibile nell'ambito visivo della videocamera per mantenere la cecità alla condizione in cui le parole L2 sono presentate nell'analisi.
  2. Utilizzando un computer, presenta una parola L2 dalla lingua di destinazione a voce orale all'oratore tramite auricolari per assicurarti che non sia udibile dall'interlocutore in modo che l'oratore possa successivamente insegnarla all'interlocutore. Allo stesso tempo, presentare un video di un parlante L1 della lingua target che pronuncia la parola L2 e produce un gesto rappresentativo che trasmetta il suo significato con il testo della parola L2 nella parte inferiore dello schermo o la parola L2 come testo al centro dello schermo senza un video per l'oratore.
  3. Dopo una pausa di 500 ms, presentare la traduzione L1 della parola L2 come testo al centro dello schermo all'oratore per 2000 ms.
  4. Chiedi all'interlocutore di insegnare la parola L2 e il suo significato all'interlocutore attraverso la parola e/o il gesto.
  5. Chiedi all'altoparlante di premere un pulsante per andare avanti quando è pronto. Dopo che l'oratore lo ha fatto, presenta un'altra parola L2. Ripeti questo processo fino a quando tutte le 20 parole L2 sono state presentate in ordine casuale.
  6. Testare individualmente la conoscenza del parlante e dell'interlocutore delle parole L2 presentate nel compito sperimentale, presentando ogni parola L2 come testo e invitandoli a pronunciare la sua traduzione in L1 o a saltare la parola se non ricordano la sua traduzione.

4. Protocollo di rivisitazione dei cartoni animati

  1. Se il QI del partecipante non è stato misurato in precedenza tramite una valutazione standardizzata del QI, somministrarne una per assicurarsi che il suo QI sia 85 o superiore.
  2. I partecipanti vengono registrati video e audio in modo che la loro produzione di parole e gesti possa essere analizzata in un secondo momento. Posiziona un microfono da tavolo davanti al partecipante per la registrazione audio. Posizionare una telecamera su un lato del partecipante con un angolo di 90° e assicurarsi che la telecamera non sia visibile al partecipante.
  3. Presenta la prima metà del cartone animato dei Looney Tunes Canary Row al partecipante. Questa metà del cartone animato contiene diverse vignette in cui il gatto Silvestro tenta e fallisce di catturare l'uccello Titti.
  4. Chiedi al partecipante di raccontare nuovamente gli eventi della prima metà del cartone animato all'interlocutore nel modo più dettagliato possibile. Chiedi all'interlocutore di ascoltare il racconto del partecipante, spingendo il partecipante a dire di più se è breve.
  5. Ripetere i passaggi 4.1. e 4.2. per la seconda metà del video di Canary Row, che contiene molte altre vignette in cui il gatto Silvestro tenta e fallisce di catturare l'uccello Titti.

5. Trascrizione e codifica

NOTA: Per ridurre al minimo le distorsioni, quando possibile, trascrivere e codificare i dati alla cieca senza sapere quali partecipanti e studi sono stati assegnati a quali condizioni. Idealmente, i trascrittori e i codificatori non dovrebbero essere coinvolti nella raccolta dei dati.

  1. Trascrivi tutti i discorsi dei partecipanti ortograficamente a mano utilizzando un software appropriato secondo uno schema standardizzato, come CHAT47, per produrre un conteggio delle parole. Trascrivi tutte le informazioni verbali, come riempitivi e correzioni, ma non trascrivere le pause.
  2. Identifica e codifica tutti i gesti dei partecipanti per produrre un conteggio per ogni tipo di gesto. Identifica i gesti da un riposo all'altro e classificali in quattro tipi in base alla tassonomia 2,3 di McNeill: iconico, metaforico, beat e deittico. Si noti che alcuni gesti possono essere classificati come più di un tipo.
  3. Calcola il tasso di gesti per cento parole dividendo il numero di gesti rappresentativi per il numero di parole e moltiplicandolo per 100 per ogni vignetta.
  4. Chiedi a un codificatore indipendente di eseguire i gesti dei partecipanti al codice per il 25% dei dati. Calcolare l'accordo percentuale per i dati codificati da entrambi i codificatori e assicurarsi che sia almeno dell'80% per garantire un'affidabilità interrater sufficiente.

Access restricted. Please log in or start a trial to view this content.

Risultati

Apprendimento delle parole L2
Implementazione: I risultati riportati di seguito si basano sui dati raccolti da 52 partecipanti sani (21 maschi, 31 femmine; età: M = 20,15, SD = 1,73, range = 18-28) secondo il protocollo sopra descritto. Tutti i discorsi e i gesti sono stati codificati da un codificatore primario, che non poteva essere cieco alla condizione di visibilità poiché i dati sia dell'oratore che dell'interlocutore sono stati regis...

Access restricted. Please log in or start a trial to view this content.

Discussione

L'attuale protocollo manipola la visibilità reciproca del parlante e dell'interlocutore, fornendo informazioni sul suo impatto sulla produzione dei gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di adolescenti con ASD. Questo protocollo può essere implementato sia di persona che virtualmente, consentendo di manipolare la visibilità dei partecipanti e degli interlocutori in tandem o in modo indipendente. Può ospitare un'ampia varietà di ...

Access restricted. Please log in or start a trial to view this content.

Divulgazioni

L'autore non ha interessi finanziari concorrenti da dichiarare.

Riconoscimenti

Lo sviluppo e la convalida del protocollo di apprendimento delle parole L2 è stato supportato da una borsa di studio National Defense Science and Engineering Graduate (NDSEG) (32 CFR 168a) rilasciata dall'Ufficio di ricerca scientifica dell'aeronautica militare del Dipartimento della Difesa degli Stati Uniti. Lo sviluppo e la convalida del protocollo di rivisitazione dei cartoni animati con adolescenti con ASD è stato supportato da un Ruth S. Kirschstein Institutional National Research Service Award (T32) del National Institutes of Mental Health. L'autore ringrazia Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo e Marco Pilotta per l'assistenza nella raccolta e nella codifica dei dati.

Access restricted. Please log in or start a trial to view this content.

Materiali

NameCompanyCatalog NumberComments
ComputerAppleZ13124" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphoneTonorB07GVGMW59
ELANThe Language ArchiveSoftware application used to transcribe speech and gesture
Video RecorderVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of IntelligencePearson158981561Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

Riferimenti

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Access restricted. Please log in or start a trial to view this content.

Ristampe e Autorizzazioni

Richiedi autorizzazione per utilizzare il testo o le figure di questo articolo JoVE

Richiedi Autorizzazione

Esplora altri articoli

Produzione di gestivisibilitsfide comunicativecontesto faccia a facciavideoconferenzagesti rappresentativigesti deitticidisturbo dello spettro autistico ASDapprendimento delle parolenarrazione narrativa

This article has been published

Video Coming Soon

JoVE Logo

Riservatezza

Condizioni di utilizzo

Politiche

Contattaci

SUGGERISCI JOVE ALLA BIBLIOTECA

Newsletter di JoVE

Ricerca

Didattica

Autori

Personale delle biblioteche

CHI SIAMO

Copyright © 2025 MyJoVE Corporation. Tutti i diritti riservati