Examinando la producción de gestos en presencia de desafíos de comunicación

Resumen

Aquí, presentamos un protocolo que manipula la visibilidad del interlocutor para examinar su impacto en la producción de gestos en la comunicación interpersonal. Este protocolo es flexible a las tareas implementadas, los gestos examinados y la modalidad de comunicación. Es ideal para poblaciones con problemas de comunicación, como los estudiantes de un segundo idioma y las personas con trastorno del espectro autista.

Resumen

Comprender por qué los hablantes modifican sus gestos con las manos al hablar con los interlocutores proporciona información valiosa sobre cómo estos gestos contribuyen a la comunicación interpersonal en contextos presenciales y virtuales. Los protocolos actuales manipulan la visibilidad de los hablantes y sus interlocutores en conjunto en un contexto cara a cara para examinar el impacto de la visibilidad en la producción de gestos cuando la comunicación es difícil. En estos protocolos, los hablantes completan tareas como enseñar palabras de un segundo idioma desconocido o contar los eventos de viñetas de dibujos animados a un interlocutor que es otro participante o un cómplice. Al realizar estas tareas, los hablantes son visibles o no visibles para su interlocutor, y el hablante es visible o no visible para el participante. En la tarea de aprendizaje de palabras, los hablantes e interlocutores visibles entre sí producen más gestos representativos, que transmiten significado a través de la forma de la mano y el movimiento, y gestos deícticos (señalando) que los hablantes e interlocutores que no son visibles entre sí. En el protocolo de narración de historias, los adolescentes con trastorno del espectro autista (TEA) produjeron más gestos al hablar con interlocutores visibles que cuando no lo hicieron. Una de las principales fortalezas del protocolo actual es su flexibilidad en términos de las tareas, poblaciones y gestos examinados, y el protocolo actual se puede implementar tanto en videoconferencias como en contextos presenciales. Por lo tanto, el protocolo actual tiene el potencial de avanzar en la comprensión de la producción de gestos al dilucidar su papel en la comunicación interpersonal en poblaciones con desafíos de comunicación.

Introducción

Los gestos de co-habla (hasta ahora, gestos) -movimientos significativos de las manos producidos simultáneamente con el habla- contribuyen a la comunicación interpersonal al transmitir información que complementa el contenido verbal¹. De acuerdo con la taxonomía más utilizada ^2,3, los gestos se pueden dividir en tres categorías: gestos representativos, que transmiten referentes a través de su forma y movimiento (por ejemplo, aletear las manos hacia adelante y hacia atrás para transmitir volar); gestos de ritmo, que transmiten énfasis a través de movimientos punteados simples (por ejemplo, mover la mano dominante ligeramente hacia abajo junto con cada palabra en la frase "ahora mismo"); y los gestos deícticos, que llaman la atención sobre la presencia o ausencia de una entidad a través del señalamiento (por ejemplo, balancear el pulgar hacia atrás para indicar algo detrás de uno mismo). Los gestos representacionales pueden dividirse a su vez en dos categorías adicionales: gestos icónicos, que transmiten referentes concretos (por ejemplo, un pájaro), y gestos metafóricos, que transmiten referentes metafóricos (por ejemplo, éxtasis). Debido a que el gesto y el habla surgen del mismo contenido conceptual, están estrechamente relacionados en el significado ^4,5. Al servir como un medio visual icónico para la comunicación, los gestos pueden ayudar a compensar cuando surgen desafíos en la comprensión del lenguaje hablado⁶, ya sea debido a factores individuales como el dominio limitado del idioma hablado ^7,8 o factores ambientales como la dificultad para escuchar el habla ^9,10. Por lo tanto, los gestos son fundamentales para comprender la comunicación interpersonal en contextos presenciales y virtuales, ya que proporcionan información sobre cómo los hablantes y los oyentes transmiten y comprenden la información de forma multimodal.

Se han desarrollado varias tareas interactivas estructuradas para medir cómo afecta el gesto a la comunicación interpersonal. Estas tareas incluyen entrevistas, en las que los participantes responden a las preguntas describiendo sus experiencias personales^11,12; descripción de la imagen, en la que se presenta a los participantes una imagen estática para describir^13,14; resolución de acertijos, en el que los participantes describen cómo resolver un rompecabezas orientando espacialmente los componentes correctamente^15,16; provisión de dirección, en la que se instruye a los participantes para que den indicaciones para llegar a un lugar desconocido para los oyentes 17,18,19; y el relato narrativo, en el que los participantes ven una caricatura que representa una secuencia de eventos y posteriormente los vuelven a contar 20,21,22. Muchas de las tareas empleadas en los estudios citados anteriormente incorporan contenido espacial y acción, que el gesto transmite con particular eficacia 15,23,24,25. En las tareas de los estudios citados anteriormente, los participantes suelen producir gestos en conjunción con el lenguaje, y se evalúa la información transmitida a través del gesto y su relación con el lenguaje producido simultáneamente. Alternativamente, los participantes pueden ver una grabación de alguien gesticulando (o no gesticulando) y produciendo lenguaje al completar una de estas tareas, después de lo cual se evalúa la comprensión de los participantes. Todas estas tareas pueden llevarse a cabo tanto de forma virtual como presencial, lo que permite la recopilación de datos de una amplia gama de participantes y la comparación entre modalidades.

El impacto de los gestos en la comunicación interpersonal se ha implementado con una amplia gama de participantes. De particular interés han sido las poblaciones con problemas de comunicación, incluidos los niños pequeños 26,27,28,29,30, los usuarios de un segundo idioma (L2) 8,31,32,33^, las personas con trastorno del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)21,22,34, las personas con trastornos del espectro autista (TEA)^21,22,34, las personas con discapacidades específicas. trastorno del lenguaje 35,36,37, personas con afasia ^12,38, personas con lesión cerebral³⁹ y personas que tartamudean^40,41. Este trabajo ha revelado que, si bien muchas de estas poblaciones pueden utilizar gestos para facilitar la comunicación, algunas, como las personas con trastorno del espectro autista, pueden tener dificultades para aprovechar los gestos para comunicarse de manera efectiva. Los hallazgos sugieren que esto puede deberse a la medida en que estas poblaciones tienen en cuenta el diseño de la audiencia y las señales ambientales, destacando las implicaciones prácticas de estas explicaciones para el impacto de los gestos en la comunicación.

Una característica clave que proporciona información sobre el impacto de los gestos en la comunicación interpersonal es la visibilidad del interlocutor. Una cuestión de gran importancia en el campo de la investigación de los gestos es hasta qué punto los participantes gesticulan para su propio beneficio, lo que indica la descarga de las operaciones cognitivas en el cuerpo, frente al beneficio de sus interlocutores, lo que indica el uso del gesto para comunicarse. Esta cuestión se ha investigado examinando el impacto de la (no)visibilidad del interlocutor en la producción de gestos en contextos cara a cara mediante el uso de una partición opaca^26,42, así como en contextos telefónicos¹³ y virtuales⁴³. En general, los resultados de este trabajo indican que, aunque los hablantes gesticulan para su propio beneficio, producen más gestos representacionales cuando se comunican con interlocutores visibles que con interlocutores no visibles, mientras que la producción de gestos de ritmo es similar independientemente de la visibilidad del interlocutor. Por lo tanto, sugieren que el gesto representacional facilita la comunicación en una variedad de contextos, sugiriendo que los hablantes tengan en cuenta la perspectiva de sus interlocutores y modifiquen su producción de gestos en consecuencia. Aunque investigaciones anteriores que examinan el efecto de la visibilidad del interlocutor han sido fundamentales para proporcionar información sobre las contribuciones del gesto a la comunicación interpersonal, se han centrado en el inglés como primera lengua (L1) en poblaciones con desarrollo típico, por lo que no está claro si los hallazgos pueden extenderse a poblaciones con problemas de comunicación. Dos de estas poblaciones son los estudiantes de L2, que pueden tener dificultades para comunicarse a través del habla en el idioma objetivo, y los niños con TEA, cuya comunicación verbal y no verbal es anormal. Además, pocas investigaciones han examinado el impacto de la visibilidad del interlocutor en la producción de gestos en contextos virtuales, lo que permite desvincular el efecto de la visibilidad del interlocutor sobre el participante del efecto de la visibilidad del participante para el interlocutor, por lo que la replicabilidad de los hallazgos de estos contextos no está clara actualmente. Por último, algunas investigaciones se han centrado en el impacto de la visibilidad del interlocutor en la producción de tipos específicos de gestos, por lo que no está claro si la producción de otros tipos de gestos se ve afectada de manera similar por la visibilidad del interlocutor.

Los protocolos que se describen a continuación manipulan la visibilidad del interlocutor para examinar la producción de gestos en circunstancias difíciles: aprendizaje de palabras en L2 y narración de historias por parte de personas con TEA. El protocolo de aprendizaje de palabras en L2 une la investigación que examina el impacto de la observación de gestos en el aprendizaje de palabras en L2 con la investigación que examina la contribución de los gestos a la comunicación a través de un paradigma interactivo de aprendizaje de palabras. En este paradigma, los participantes que no están familiarizados con la lengua meta aprenden palabras en ella y luego enseñan estas palabras a otros participantes que no están familiarizados con la lengua meta, lo que permite examinar el impacto de la visibilidad del interlocutor en la producción de gestos en las primeras etapas de la adquisición de L2 en un contexto conversacional. El paradigma del relato de dibujos animados emplea una tarea narrativa de recuento ampliamente utilizada en la que se han observado diferencias en la producción de gestos cuando se manipula la visibilidad del interlocutor con una nueva población: los adolescentes con TEA. Esta población es de interés porque el desarrollo del lenguaje, incluida la producción de gestos, es maduro en la adolescencia, y el TEA implica dificultades con la comunicación verbal y no verbal, incluidos los gestos, así como una falta de sensibilidad a las necesidades comunicativas de los interlocutores. En conjunto, estos protocolos proporcionan información sobre hasta qué punto la producción de gestos depende del habla y, por el contrario, puede compensarlo cuando la comunicación interpersonal es un desafío.

Sobre la base de los hallazgos que demuestran cómo la visibilidad del oyente afecta la producción de gestos por parte de los hablantes de inglés L1 13,26,42,43, se planteó la hipótesis de que los participantes producirían más gestos generales y más gestos representativos cuando discutieran palabras L2 con un interlocutor visible que con un interlocutor no visible. Sobre la base de los hallazgos que demuestran anormalidades en la producción de gestos en el TEA^20,44, se planteó la hipótesis de que los adolescentes con TEA producirían menos gestos en general, así como menos gestos representativos y deícticos que los adolescentes con desarrollo típico (TD). Además, a partir de los hallazgos que muestran que el TEA conlleva dificultades para tomar perspectiva⁴⁵, se planteó la hipótesis de que la producción de gestos por parte de los adolescentes con TEA no diferiría significativamente en presencia de interlocutores visibles y no visibles. Por último, se predijo una interacción entre el diagnóstico y la visibilidad, de modo que la producción de gestos no difiere en la visibilidad para los adolescentes con TEA, pero sí para los adolescentes con TD.

Access restricted. Please log in or start a trial to view this content.

Protocolo

Todos los participantes dieron su consentimiento por escrito, y todos los protocolos fueron aprobados por las Juntas de Revisión Institucional de la institución anfitriona. Los protocolos de aprendizaje de palabras en L2 y narración de dibujos animados fueron implementados en los estudios en los que se basan los resultados representativos^21,33. Aunque hasta la fecha estos protocolos solo se han llevado a cabo en contextos presenciales, actualmente se está llevando a cabo un protocolo relacionado que manipula la visibilidad del interlocutor y del participante de forma independiente y que no se describe aquí para proporcionar información sobre la replicabilidad en este contexto, con planes para expandirlo a poblaciones con desafíos de comunicación, como las personas con TEA.

1. Participantes

NOTA: Al mismo tiempo que se respetan las limitaciones necesarias sobre las características de los participantes para cada estudio, las muestras deben ser representativas de la población más grande en la medida de lo posible.

1. Reclutamiento de participantes para el protocolo de aprendizaje de palabras L2
   1. Reclutar participantes de 18 años o más con visión normal o corregida a normal y audición normal que sean hablantes de inglés L1. Para garantizar que el estudio examine el impacto de los gestos en el aprendizaje de palabras L2 en la etapa inicial, reclute a participantes sin ningún conocimiento de húngaro, el idioma meta.
2. Reclutamiento de participantes para el protocolo de recuento de dibujos animados
   1. Reclutar participantes de una edad capaz de completar la tarea experimental (10-20 años de edad en Morett et ^al.21.) con diagnóstico de TEA o que presenten un desarrollo típico (TD).
      1. Para garantizar que los participantes puedan completar la tarea experimental con éxito, reclute participantes que sean hablantes de inglés L1, que tengan una visión y una audición normales o corregidas a normales, y que tengan un coeficiente intelectual de 85 o más, medido antes o en el momento del estudio a través de una evaluación estandarizada⁴⁶.
      2. Para asegurarse de que el estudio examine los efectos específicos del TEA en la producción de gestos, reclute participantes con TEA sin epilepsia, meningitis, encefalitis, diabetes, trastorno desintegrativo infantil o trastorno generalizado del desarrollo no especificado (PDD-NOS).
      3. Para garantizar que la producción de gestos en el TEA pueda compararse con la producción de gestos típica, reclute participantes con TD sin trastornos psiquiátricos comórbidos o familiares de primer grado diagnosticados con trastornos generalizados del desarrollo.

2. Visión general de la manipulación de la visibilidad

1. Reclute a los participantes en parejas si se examinan los efectos de producir y observar gestos espontáneos, como en el protocolo de aprendizaje de palabras L2. Reclute a los participantes individualmente en coordinación con un asistente de investigación que actúe como participante si solo se examinan los efectos de producir gestos espontáneos, como en el protocolo de recuento de dibujos animados.
2. Proporcionar un formulario de consentimiento informado con información sobre el estudio a los participantes para que lo firmen y respondan cualquier pregunta al respecto, teniendo cuidado de no revelar el enfoque del estudio en la producción de gestos. Recoja el formulario después de que los participantes lo hayan firmado.
3. Para los participantes reclutados en parejas, utilice un método de selección como el lanzamiento de una moneda para determinar qué participante actuará como orador, quién hablará más en la tarea experimental y qué participante actuará como interlocutor, quién escuchará la mayor parte y ocasionalmente interactuará con el orador en la tarea experimental. En el caso de los participantes reclutados individualmente con un asistente de investigación que actúe como participante, utilice un método de selección fijo, como el lanzamiento de una moneda amañado, para asegurarse de que el participante siempre actúe como orador y que el asistente de investigación siempre actúe como interlocutor.
4. En la mitad de las sesiones experimentales, coloque un separador opaco entre el orador y el interlocutor para asegurarse de que no puedan verse la cara o las manos del otro.
5. Explique a los participantes lo que harán en la tarea experimental y responda cualquier pregunta al respecto. Informar a los participantes que su discurso será grabado en audio, señalando el micrófono utilizado para tal fin. Para evitar cualquier efecto de la conciencia de la grabación de vídeo en la producción de gestos, no informe a los participantes de que serán grabados en vídeo y asegúrese de que la cámara de vídeo utilizada para este fin no sea visible para los participantes.
6. Inicie la grabación de vídeo y audio pulsando los botones correspondientes. Implemente la tarea experimental para obtener el habla y los gestos del hablante y del interlocutor participante, si lo hay.
7. Si se emplea un diseño dentro de los participantes, elimine el divisor opaco si se usa en la primera iteración o colóquelo entre el hablante y el interlocutor si no se usa en la primera iteración.
8. Repita la tarea experimental según sea necesario hasta que se hayan agotado todos los estímulos.
9. Detenga la grabación de vídeo y audio pulsando los botones correspondientes. Informe a los participantes que el estudio se centró en los gestos y que fueron grabados en video y ofrezca eliminar sus videos antes del análisis de datos si lo desean.
10. Responda a las preguntas de los participantes y agradézcales por participar antes de despedirlos.

3. Protocolo de aprendizaje de palabras L2

1. El vídeo y el audio graban al hablante y al interlocutor para que la producción del habla y los gestos durante la tarea experimental pueda ser analizada posteriormente.
   1. Coloque un micrófono de mesa entre el orador y el interlocutor para la grabación de audio. Coloque una cámara de vídeo a un lado entre el orador y el interlocutor en un ángulo de 90° y asegúrese de que no sea visible para los participantes.
   2. Además, asegúrese de que tanto el hablante como el interlocutor estén incluidos dentro del alcance de la cámara de video y que la pantalla de la computadora no sea visible en el alcance de la cámara de video para mantener la ceguera a la condición en la que se presentan las palabras L2 en el análisis.
2. Usando una computadora, presente una palabra L2 del idioma de destino auditivamente al hablante a través de auriculares para asegurarse de que sea inaudible para el interlocutor para que el hablante pueda enseñársela posteriormente al interlocutor. Al mismo tiempo, presente un video de un hablante de L1 de la lengua meta diciendo la palabra L2 y produciendo un gesto representacional que transmita su significado con el texto de la palabra L2 en la parte inferior de la pantalla o la palabra L2 como texto en el centro de la pantalla sin un video para el hablante.
3. Después de una pausa de 500 ms, presente la traducción L1 de la palabra L2 como texto en el centro de la pantalla al altavoz durante 2000 ms.
4. Pida a la persona que explica que enseñe la palabra L2 y su significado al interlocutor a través del habla y/o el gesto.
5. Indique al altavoz que presione un botón para continuar cuando esté listo. Después de que el orador lo haga, presente otra palabra L2. Repita este proceso hasta que las 20 palabras L2 se hayan presentado en orden aleatorio.
6. Evalúe individualmente el conocimiento del hablante y del interlocutor sobre las palabras L2 presentadas en la tarea experimental presentando cada palabra L2 como texto e incitándoles a decir su traducción en L1 o a omitir la palabra si no recuerdan su traducción.

4. Protocolo de recuento de dibujos animados

1. Si el coeficiente intelectual del participante no se ha medido previamente a través de una evaluación de coeficiente intelectual estandarizada, administre una para asegurarse de que su coeficiente intelectual sea de 85 o más.
2. El vídeo y el audio graban a los participantes para que su producción de habla y gestos pueda ser analizada posteriormente. Coloque un micrófono de mesa frente al participante para la grabación de audio. Coloque una cámara a un lado del participante en un ángulo de 90° y asegúrese de que la cámara no sea visible para el participante.
3. Presente la primera mitad de la caricatura de los Looney Tunes Canary Row al participante. Esta mitad de la caricatura contiene varias viñetas en las que el gato Sylvester intenta y no logra atrapar al pájaro Piolín.
4. Pida al participante que vuelva a contar los acontecimientos de la primera mitad de la caricatura al interlocutor con el mayor detalle que pueda recordar. Indique al interlocutor que escuche el relato del participante, incitando al participante a decir más si es breve.
5. Repita los pasos 4.1. y 4.2. para la segunda mitad del video de Canary Row, que contiene varias viñetas más en las que el gato Sylvester intenta y no logra atrapar al pájaro Piolín.

5. Transcripción y codificación

NOTA: Para minimizar el sesgo, cuando sea posible, transcriba y codifique los datos a ciegas sin saber qué participantes y ensayos se asignaron a qué condiciones. Idealmente, los transcriptores y codificadores no deberían participar en la recopilación de datos.

1. Transcriba todo el discurso de los participantes ortográficamente a mano utilizando el software adecuado de acuerdo con un esquema estandarizado, como CHAT⁴⁷, para producir un recuento de palabras. Transcriba toda la información verbal, como muletillas y correcciones, pero no transcriba las pausas.
2. Identifique y codifique todos los gestos de los participantes para producir un recuento para cada tipo de gesto. Identifique los gestos de reposo a reposo y clasifíquelos en cuatro tipos según la taxonomía ^2,3 de McNeill: icónico, metafórico, beat y deíctico. Tenga en cuenta que algunos gestos pueden clasificarse como más de un tipo.
3. Calcula la tasa de gestos por cada cien palabras dividiendo el número de gestos representativos por el número de palabras y multiplicándolo por 100 para cada viñeta.
4. Hacer que un participante de código de codificador independiente haga gestos para el 25% de los datos. Calcule el porcentaje de concordancia para los datos codificados por ambos codificadores y asegúrese de que sea al menos del 80% para garantizar una fiabilidad suficiente entre evaluadores.

Access restricted. Please log in or start a trial to view this content.

Resultados

Aprendizaje de palabras L2
Implementación: Los resultados que se informan a continuación se basan en datos recopilados de 52 participantes sanos (21 hombres, 31 mujeres; edad: M = 20.15, SD = 1.73, rango = 18-28) de acuerdo con el protocolo descrito anteriormente. Todos los signos y gestos fueron codificados por un codificador primario, que no podía ser ciego a la condición de visibilidad, ya que los datos tanto del hablante como del inte...

Access restricted. Please log in or start a trial to view this content.

Discusión

El protocolo actual manipula la visibilidad del hablante y del interlocutor entre sí, proporcionando información sobre su impacto en la producción de gestos en circunstancias difíciles: el aprendizaje de palabras en L2 y la narración de historias por parte de adolescentes con TEA. Este protocolo puede implementarse de forma presencial o virtual, permitiendo manipular la visibilidad de participantes e interlocutores de forma conjunta o independiente. Puede acomodar una amplia varieda...

Access restricted. Please log in or start a trial to view this content.

Materiales

Name	Company	Catalog Number	Comments
Computer	Apple	Z131	24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone	Tonor	B07GVGMW59
ELAN	The Language Archive		Software application used to transcribe speech and gesture
Video Recorder	Vjianger	B07YBCMXJJ	FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence	Pearson	158981561	Used to verify full scale IQ ≥ 80 in Morett et al. (2016)