Una configuración naturalista para presentar personas reales y acciones en vivo en estudios de psicología experimental y neurociencia cognitiva

Resumen

Este estudio presenta una configuración experimental naturalista que permite a los investigadores presentar estímulos de acción en tiempo real, obtener datos de tiempo de respuesta y seguimiento del ratón mientras los participantes responden después de cada visualización de estímulo, y cambiar de actor entre condiciones experimentales con un sistema único que incluye una pantalla especial de diodo orgánico emisor de luz transparente (OLED) y manipulación de luz.

Resumen

La percepción de las acciones de los demás es crucial para la supervivencia, la interacción y la comunicación. A pesar de décadas de investigación en neurociencia cognitiva dedicada a comprender la percepción de las acciones, todavía estamos lejos de desarrollar un sistema de visión por computadora inspirado neuralmente que se acerque a la percepción de la acción humana. Un desafío importante es que las acciones en el mundo real consisten en eventos que se desarrollan temporalmente en el espacio que suceden "aquí y ahora" y son estables. En contraste, la percepción visual y la investigación de la neurociencia cognitiva hasta la fecha han estudiado en gran medida la percepción de acción a través de pantallas 2D (por ejemplo, imágenes o videos) que carecen de la presencia de actores en el espacio y el tiempo, por lo tanto, estas pantallas son limitadas para permitir la actuabilidad. A pesar del creciente cuerpo de conocimiento en el campo, estos desafíos deben superarse para una mejor comprensión de los mecanismos fundamentales de la percepción de las acciones de los demás en el mundo real. El objetivo de este estudio es introducir una configuración novedosa para llevar a cabo experimentos de laboratorio naturalistas con actores en vivo en escenarios que se aproximan a los entornos del mundo real. El elemento central de la configuración utilizada en este estudio es una pantalla transparente de diodo orgánico emisor de luz (OLED) a través de la cual los participantes pueden ver las acciones en vivo de un actor físicamente presente mientras se controla con precisión el momento de su presentación. En este trabajo, esta configuración se probó en un experimento de comportamiento. Creemos que la configuración ayudará a los investigadores a revelar mecanismos cognitivos y neuronales fundamentales y previamente inaccesibles de la percepción de la acción y será una base para futuros estudios que investiguen la percepción social y la cognición en entornos naturalistas.

Introducción

Una habilidad fundamental para la supervivencia y la interacción social es la capacidad de percibir y dar sentido a las acciones de los demás e interactuar con ellas en el entorno circundante. Investigaciones anteriores en las últimas décadas han hecho contribuciones significativas a la comprensión de los principios fundamentales de cómo los individuos perciben y entienden las acciones de los demás 1,2,3,4,5,6,7,8,9,10,11 . Sin embargo, dada la complejidad de las interacciones y las circunstancias en las que ocurren, existe una necesidad obvia de desarrollar aún más el cuerpo de conocimiento en entornos naturalistas para alcanzar una comprensión más completa de esta compleja habilidad en entornos de la vida diaria.

En ambientes naturales como nuestros entornos de la vida diaria, la percepción y la cognición exhiben características incorporadas, incrustadas, extendidas y enactivas¹². En contraste con los relatos internalistas de las funciones cerebrales que tienden a subestimar los roles del cuerpo y el medio ambiente, los enfoques contemporáneos de la cognición incorporada se centran en el acoplamiento dinámico del cerebro, el cuerpo y el medio ambiente. Por otro lado, la mayoría de las investigaciones en psicología social, psicología cognitiva y neurociencia sobre la percepción de la acción tienden a asumir que la utilización de diseños de experimentos bien controlados y simplificados en condiciones de laboratorio (por ejemplo, imágenes o videos en tareas computarizadas) produce resultados que pueden generalizarse a escenarios más complejos, como las interacciones del mundo real. 1,2,3,4,5,6,7 ,8,9,10,11. Esta suposición garantiza que se puedan obtener datos sólidos y fiables en muchas circunstancias. Sin embargo, un desafío bien conocido es que la validez de los modelos derivados de experimentos cuidadosamente controlados es limitada cuando se prueban en un contexto del mundo real¹³. En consecuencia, se han realizado investigaciones adicionales 13,14,15,16,17,18,19,20,21,22 para abordar la validez ecológica y externa de estímulos y diseños experimentales en diversos campos de investigación.

En este estudio, se sugiere un método novedoso para investigar cómo los individuos perciben y evalúan las acciones de los demás mediante el uso de acciones en vivo realizadas por un actor real y físicamente presente. Se emplean escenarios similares a contextos de la vida real, mientras que los experimentadores tienen control sobre posibles factores de confusión. Este estudio es una forma de "investigación naturalista de laboratorio", en el marco de Matusz et al.14 que puede concebirse como una etapa intermedia entre la "investigación clásica de laboratorio", que hace uso del máximo control sobre los estímulos y el medio ambiente, a menudo a expensas de la naturalidad, y la "investigación del mundo real totalmente naturalista", que tiene como objetivo maximizar la naturalidad a expensas del control sobre la estimulación y el medio ambiente ¹⁴. El estudio tiene como objetivo abordar la necesidad de investigaciones empíricas a este nivel en la investigación de percepción de acción para cerrar la brecha entre los hallazgos obtenidos en experimentos de laboratorio tradicionales con un alto grado de control experimental y los hallazgos obtenidos en estudios realizados en entornos naturales sin restricciones.

Experimentos controlados versus experimentos sin restricciones
El control experimental es una estrategia eficiente para diseñar experimentos para probar una hipótesis específica, ya que permite a los investigadores aislar las variables objetivo de los posibles factores de confusión. También permite revisar la misma hipótesis con ciertos niveles de enmiendas, como usar estímulos ligeramente o totalmente diferentes en el mismo diseño o probar los mismos estímulos en configuraciones experimentales alternativas. La investigación sistemática a través de experimentos controlados es una forma tradicional de metodología en la investigación en ciencia cognitiva y dominios relevantes. Los experimentos controlados todavía ayudan a establecer el cuerpo de conocimiento sobre los principios fundamentales de los procesos cognitivos en varios dominios de investigación, como la atención, la memoria y la percepción. Sin embargo, investigaciones recientes también han reconocido las limitaciones de los experimentos de laboratorio tradicionales en términos de generalizar los hallazgos a entornos del mundo real, y se ha alentado a los investigadores a realizar estudios en entornos ecológicos mejorados 13,14,15,16,17,18,19,20,21 . Este cambio tiene como objetivo abordar dos cuestiones importantes con respecto a la discrepancia entre los experimentos de laboratorio tradicionales y los entornos del mundo real. En primer lugar, el mundo fuera del laboratorio es menos determinista que en los experimentos, lo que limita el poder representativo de las manipulaciones experimentales sistemáticas. En segundo lugar, el cerebro humano es altamente adaptable, y esto a menudo se subestima debido a las limitaciones prácticas del diseño y la realización de estudios experimentales²². El concepto de "validez ecológica"^23,24 se ha utilizado para abordar los métodos para resolver este problema. El término se usa generalmente para referirse a un requisito previo para la generalización de los hallazgos experimentales al mundo real fuera del contexto del laboratorio. La validez ecológica también ha sido interpretada como referida a la validación de configuraciones experimentales virtualmente naturalistas con estímulos sin restricciones para asegurar que el diseño del estudio sea análogo a los escenarios de la vida real²⁵. Debido al alto grado de varianza en la interpretación de este término, se requiere una comprensión de las ventajas y limitaciones de las metodologías alternativas y la selección de estímulos.

Niveles de naturalismo en estímulos y diseño de experimentos
Trabajos previos en psicología experimental y neurociencia cognitiva han utilizado una amplia gama de estímulos con diferentes niveles de naturalismo²⁶. La mayoría de los investigadores prefieren usar imágenes estáticas o videos dinámicos cortos porque estos estímulos son más fáciles de preparar que aquellos que podrían simular una acción real o un evento. A pesar de tener ventajas, estos estímulos no permiten a los investigadores medir comportamientos contingentes entre los agentes sociales. En otras palabras, no son actuables y no tienen asequibilidad social²⁷. En los últimos años, se ha desarrollado una alternativa a estos estímulos no interactivos: animaciones en tiempo real de avatares virtuales. Estos avatares permiten la investigación de las interacciones entre los avatares y sus usuarios. Sin embargo, el uso de avatares virtuales está sujeto a una menor aprehensión del usuario, especialmente cuando no parecen particularmente atractivos en términos de sus comportamientos realistas y contingentes²⁶. Por lo tanto, ahora hay más interés en utilizar estímulos sociales reales en estudios experimentales. Aunque su diseño, registro de datos y análisis pueden requerir equipos avanzados y análisis de datos complejos, son los mejores candidatos para comprender el comportamiento y la cognición humana naturalista.

El presente estudio propone una metodología para utilizar estímulos sociales de la vida real en un entorno de laboratorio. Este estudio tiene como objetivo investigar cómo las personas perciben y evalúan las acciones de los demás en un entorno con mayor validez ecológica en comparación con los experimentos de laboratorio tradicionales. Hemos desarrollado y descrito una configuración novedosa en la que los participantes están expuestos a actores reales que están físicamente presentes y comparten el mismo entorno con ellos. En este protocolo, se miden los tiempos de respuesta de los participantes y las trayectorias de los ratones, lo que requiere un momento preciso de la presentación de los estímulos y un control estricto sobre las condiciones experimentales en este entorno ecológico mejorado. Por lo tanto, el paradigma experimental se destaca entre los marcos presentes en la literatura ya que la naturalidad de los estímulos se maximiza sin sacrificar el control sobre el medio ambiente. A continuación, el protocolo presenta los pasos para establecer dicho sistema y luego continúa con los resultados representativos para los datos de muestra. Finalmente, se presenta una discusión sobre el significado del paradigma, las limitaciones y los planes de modificación.

Diseño experimental
Antes de pasar a la sección de protocolo, describimos los parámetros utilizados en el presente estudio y presentamos los detalles de los estímulos junto con el diseño experimental.

Parámetros en el estudio
Este estudio tiene como objetivo medir cómo el tipo de actor y la clase de acciones que realizan afectan los procesos de percepción mental de los participantes. En el protocolo, el proceso de percepción mental se mide en dos dimensiones principales, a saber, la agencia y la experiencia, como lo proponen investigaciones anteriores²⁸. También se incluyen los extremos superior e inferior de estas dos dimensiones, como introdujeron recientemente Li et ^al.29.

La estructura del estudio se inspiró en la versión³⁰ de categoría única de la tarea de asociación implícita (IAT) comúnmente ^utilizada31. En esta tarea, los tiempos de respuesta de los participantes mientras hacen coincidir un concepto de atributo con el concepto objetivo se utilizan como una indicación de la fuerza de sus asociaciones implícitas para estos dos conceptos. En la adaptación de esta tarea implícita, a los participantes se les presentan acciones en vivo realizadas por actores reales y se les exige que las hagan coincidir con los conceptos objetivo. Los conceptos objetivo son los extremos superior e inferior de la agencia o dimensiones de experiencia, dependiendo del bloque del experimento.

En resumen, las variables independientes son Tipo de actor y Clase de acción. El tipo de actor tiene dos niveles (es decir, dos actores diferentes, Actor1 y Actor2, que actúan en el estudio). Action Class tiene dos niveles: Action Class1 y Action Class2, y cada clase contiene cuatro acciones. Los participantes evalúan a los dos actores por separado en cuatro bloques (un actor en cada bloque), y en cada bloque, los actores realizan todas las acciones en un orden contrapesado. Los participantes realizan evaluaciones con respecto a dos dimensiones predefinidas y forzadas: Agencia y Experiencia. Los cuatro bloques en el experimento son (1) Actor1 en Bloque de agencia, (2) Actor2 en Bloque de agencia, (3) Actor1 en Bloque de experiencia y (4) Actor2 en Bloque de experiencia. El orden de los bloques también se contrapone entre los participantes, de modo que los bloques con el mismo agente nunca se siguen.

Además de las respuestas de los participantes, se registran los tiempos de respuesta y las coordenadas x-y del ratón inalámbrico que utilizan mientras se mueven hacia una de las dos alternativas de respuesta. Por lo tanto, las variables dependientes son la respuesta y el tiempo de respuesta (RT) de los participantes, así como las mediciones de desviación máxima (DM) y área bajo la curva (AUC), derivadas del seguimiento del ratón de la computadora. La respuesta variable es categórica; puede ser Alta o Baja, y dado que las evaluaciones se realizan en uno de los bloques dados, las respuestas también se pueden etiquetar como Alta Agencia, Baja Agencia, Alta Experiencia o Baja Experiencia. El tiempo de respuesta es una variable continua; Su unidad es segundos, y se refiere al tiempo transcurrido entre el inicio de la presentación de una acción y la ocurrencia de un clic del mouse en una de las alternativas de respuesta. El DM de una trayectoria es una variable continua, y se refiere a la mayor desviación perpendicular entre la trayectoria del participante (s) y la trayectoria idealizada (línea recta). El AUC de una trayectoria es también una variable continua, y se refiere al área geométrica entre la trayectoria del participante (s) y la trayectoria idealizada³².

Estímulos y diseño del experimento
En el presente estudio se utiliza un experimento en tres etapas. Las mediciones de la tercera parte se utilizan para los análisis; Las dos primeras partes sirven como preparación para la parte final. A continuación, describimos cada parte del experimento junto con los estímulos e hipótesis experimentales.

En el Experimento Parte 1 (parte de entrenamiento léxico), los participantes completan una sesión de capacitación para comprender los conceptos de Agencia y Experiencia y los niveles de capacidad representados con las palabras Alto y Bajo. Para seleccionar los conceptos (n = 12) a ser utilizados en esta sesión de capacitación, algunos de los autores del presente trabajo realizaron un estudio normativo³³. Dado que el presente estudio estaba previsto que se realizara en los idiomas nativos de los participantes, los conceptos también se tradujeron al turco antes de normalizarse. Los conceptos fueron seleccionados de entre aquellos que estaban fuertemente asociados con los extremos Alto (n = 3) y Bajo (n = 3) de las dos dimensiones (seis conceptos para cada uno). Esta parte es crucial ya que se espera que la comprensión de los conceptos por parte de los participantes guíe sus procesos de evaluación.

En el Experimento Parte 2 (parte de identificación de acciones), los participantes observan las mismas ocho acciones realizadas por Actor1 y Actor2 una tras otra e informan cuál es la acción al experimentador. Esta sección sirve como una comprobación de manipulación; Al presentar todas las acciones cuando ambos actores las están realizando, es posible asegurarse de que los participantes entiendan las acciones y estén familiarizados con los actores antes de comenzar la prueba implícita, donde necesitan hacer evaluaciones rápidas. Las acciones seleccionadas para Action Class1 y Action Class2 son aquellas que tuvieron los puntajes H y niveles de confianza más altos (cuatro ejemplos de acción diferentes en cada clase de acción) de acuerdo con los resultados de los dos estudios normativos (N = 219) para cada condición de actor realizado por algunos de los autores (manuscrito en preparación). Todas las acciones se realizan en un tiempo igual de 6 s.

Este es un estudio en curso, y tiene algunos otros componentes; Sin embargo, las hipótesis para las secciones descritas anteriormente son las siguientes: (i) el tipo de actor afectará a las variables dependientes; Actor2 producirá RT más largos, MD más altos y AUC más grandes en comparación con Actor1; ii) el tipo de acción afectará a las mediciones dependientes; Action Class1 producirá RT más largos, MD más altos y AUC más grandes en comparación con Action Class2; (iii) las mediciones dependientes para las respuestas altas y bajas para el mismo actor y clase de acción diferirán entre las dimensiones del bloque: Agencia y Experiencia.

Protocolo

Los protocolos experimentales en este estudio fueron aprobados por el Comité de Ética para la Investigación con Participantes Humanos de la Universidad de Bilkent. Todos los participantes incluidos en el estudio eran mayores de 18 años, y leyeron y firmaron el formulario de consentimiento informado antes de comenzar el estudio.

1. Pasos generales de diseño

NOTA: La Figura 1A (vista superior) y la Figura 1B y la Figura 1C (vistas frontal y posterior) muestran el diseño del laboratorio; Estas figuras se crearon con respecto a la configuración original del laboratorio diseñada para este estudio en particular. La figura 1A muestra el diseño de la vista superior del laboratorio. En esta figura, es posible ver luces LED en el techo y el gabinete del actor. El sistema de cortina opaca divide la habitación por la mitad y ayuda a la manipulación de la luz al evitar que la luz se filtre en la parte frontal de la habitación (Área de participantes). La Figura 1B presenta la visión del laboratorio desde la perspectiva del experimentador. El participante se sienta justo en frente de la pantalla OLED, y usando la pantalla transparente, puede ver las acciones en vivo realizadas por los actores. Dan sus respuestas utilizando el dispositivo de respuesta (un ratón inalámbrico) frente a ellos. El experimentador puede ver simultáneamente al actor a través de la pantalla del participante (pantalla OLED) y las imágenes provenientes de la cámara de seguridad. La Figura 1C muestra el backstage del estudio (Área de Actores) con la cámara de seguridad y la computadora personal (PC) del Actor, que no son visibles para el participante. Las imágenes de la cámara de seguridad van a la PC de la cámara para establecer la comunicación entre los actores y el experimentador. El PC Actor muestra el orden de los bloques y la siguiente información de acción al actor para que el experimento fluya sin ninguna interrupción. Los actores pueden verificar la siguiente acción rápidamente mientras los participantes responden a la acción en el ensayo anterior.

Figura 1: Configuración del laboratorio naturalista. (A) Vista de arriba hacia abajo de la configuración del laboratorio naturalista. (B) Los lados posterior y frontal de la configuración experimental naturalista desde el punto de vista del participante. (C) La parte posterior y frontal de la configuración experimental naturalista desde el punto de vista del actor. Haga clic aquí para ver una versión más grande de esta figura.

1. Diseñe una configuración que incluya tres computadoras, incluyendo (1) una computadora de escritorio de control principal (Experimenter PC), (2) una computadora portátil de actor (Actor PC) y (3) una PC con cámara, un dispositivo de respuesta inalámbrica (Mouse participante), dos pantallas, un circuito de iluminación y una cámara de seguridad (consulte la Figura 2A para el diagrama del sistema de la configuración de este estudio).
   NOTA: El Experimenter PC será utilizado por el experimentador para ejecutar los guiones del experimento, el Actor PC será utilizado por el actor para rastrear los bloques del experimento y el orden de las acciones en los bloques, y el tercer dispositivo, el Camera PC, se conectará a la cámara de seguridad ubicada en el área del actor y será utilizado por el experimentador para monitorear el backstage.
2. Conecte las pantallas separadas (una para la presentación de estímulos [Participant Display], que es la pantalla OLED) y una pantalla para el monitoreo del experimento, el dispositivo de respuesta y el circuito de iluminación (a través de cables o conexiones inalámbricas) a la PC del Experimentador (ver Figura 2A).
3. Conecte el PC del experimentador y el PC del actor a través de una red inalámbrica para transmitir información relacionada con el estado del experimento (por ejemplo, "el ID de la próxima acción es 'saludo'") a los actores.
4. Diseñe y construya un circuito de iluminación que (consulte la Figura 2B para la placa de circuito) pueda ser controlado por un microcontrolador para encender y apagar los LED.
   NOTA: La Figura 3A muestra el uso opaco de la pantalla OLED utilizada en el estudio desde el punto de vista del experimentador. Para garantizar la opacidad, el fondo de la pantalla se ajusta a blanco (RGB: 255, 255, 255), y todas las luces de la sala (tanto en el Área de participantes como en el Área de actores) se apagan. El participante ve la fijación ante los estímulos. La Figura 3B muestra el uso transparente de la pantalla digital en el estudio desde el punto de vista del experimentador. Para permitir la transparencia, el fondo de la pantalla se ajusta a negro (RGB: 0, 0, 0) y las luces LED del techo están encendidas. El participante observa al actor. La Figura 3C muestra el uso opaco de la pantalla digital en el estudio. Para garantizar la opacidad, el fondo de la pantalla se ajusta a blanco (RGB: 255, 255, 255) y todas las luces de la habitación se apagan. Al participante se le presenta la pantalla de evaluación para dar una respuesta. Deben arrastrar el cursor a la parte superior izquierda o superior derecha de la pantalla (una de las dos opciones de respuesta, ya sea Alta o Baja) con un mouse inalámbrico. Se registra su trayectoria de ratón y tiempo de respuesta.
5. Conecte el microcontrolador al PC del experimentador.
6. Almacene los scripts que ejecutan el experimento en el equipo del experimentador.
   NOTA: La Figura 4A muestra el backstage (Área de actores) durante el experimento. Las luces delanteras de la sala (Área de participantes) están apagadas y el PC del actor muestra el nombre de la acción que realizará el actor. La Figura 4B muestra el gabinete de actores en el que los actores pueden esperar su turno y cambiar sus atuendos. El gabinete del actor no es visible desde la vista del participante, y dado que se utiliza un sistema de cortina, los actores pueden usar cualquier entrada que deseen. Durante el experimento, las luces fluorescentes que se muestran en la figura están apagadas.

Figura 2: Sistema y diagrama de cableado . (A) El diagrama del sistema de la configuración experimental naturalista. (B) El diagrama de cableado del circuito de luz que soporta la pantalla OLED durante el experimento. Haga clic aquí para ver una versión más grande de esta figura.

Figura 3: Pantalla OLED desde el punto de vista del experimentador. (A) Uso opaco de la pantalla digital OLED desde el punto de vista del experimentador. (B) Uso transparente de la pantalla digital OLED desde el punto de vista del experimentador. (C) Uso opaco de la pantalla digital OLED desde el punto de vista del experimentador durante un período de respuesta. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Backstage del experimento. (A) Backstage durante un ensayo experimental. (B) El gabinete del actor está en la parte posterior de la pantalla OLED, en el que los actores pueden esperar a que su turno sea visible durante el experimento. Haga clic aquí para ver una versión más grande de esta figura.

2. Diseño e implementación del circuito de iluminación

1. Pasos a seguir antes de alimentar los dispositivos/componentes del circuito
   1. Para cambiar los estados de los LED instalados entre bastidores (Área de actores), proporcione al PC del experimentador la capacidad de cambiar los LED a ON o OFF.
   2. Para transmitir los comandos digitales que se enviarán desde el PC del Experimentador a través de un cable USB, seleccione un dispositivo microcontrolador que pueda tomar entradas digitales y generar una salida digital (consulte la Tabla de materiales para el microcontrolador utilizado en este estudio).
   3. Seleccione un puerto USB específico del PC Experimenter para conectarlo a la entrada USB del microcontrolador mediante un cable USB. No encienda el PC antes de asegurarse de que todas las conexiones se han establecido correctamente.
   4. Incluye un módulo de conmutación para aumentar la amplitud de la señal de salida (alrededor de 3,3 V) generada por el microcontrolador.
   5. Conecte el pin de salida digital designado (para este experimento, el pin designado es D9) y los pines de tierra del microcontrolador al módulo de conmutación.
   6. Para ejecutar la carga (los LED), incluya un módulo de transistor de efecto de campo (MOSFET) de metal-óxido-semiconductor de alta potencia (o módulo MOSFET) impulsado por la señal generada por el módulo de conmutación, y conecte los pines de señal del módulo MOSFET al par señal-tierra correspondiente en el módulo de conmutación.
   7. Conecte los pines de la cama caliente del módulo MOSFET a la carga.
   8. Para suministrar un voltaje constante regulado a los módulos (e indirectamente, a los LED), incluya una fuente de alimentación LED que tome la entrada de corriente alterna (CA) y genere un voltaje de CC constante en el circuito.
   9. Conecte las salidas de la fuente de alimentación LED a las entradas de alimentación tanto del módulo MOSFET como del módulo de conmutación.
2. Pasos a seguir después de cablear los componentes del circuito
   1. Conecte el cable USB al puerto USB seleccionado del PC del experimentador.
   2. Cree un enlace de comunicación serie entre el microcontrolador y el entorno de software que se ejecuta en el PC del experimentador (consulte la subsección Conexión del microcontrolador al PC del experimentador).
   3. Conecte la fuente de alimentación LED a la entrada de red de CA.

3. Programación del experimento

NOTA: Cree tres scripts experimentales principales (ExperimentScript1.m [Archivo de codificación complementaria 1], ExperimentScript2.m [Archivo de codificación complementaria 2] y ExperimentScript3.m [Archivo de codificación complementaria 3]), así como varias funciones (RecordMouse.m [Archivo de codificación complementaria 4], InsideROI.m [Archivo de codificación complementaria 5], RandomizeTrials.m [Archivo de codificación complementaria 6], RandomizeBlocks.m [Archivo de codificación complementaria 7], GenerateResponsePage.m [Archivo de codificación complementario 8], GenerateTextures.m [Archivo de codificación complementario 9], ActorMachine.m [Archivo de codificación complementario 10], MatchIDtoClass.m [Archivo de codificación complementario 11] y RandomizeWordOrder.m [Archivo de codificación complementario 12]) para realizar el experimento.

NOTA: Consulte los scripts relacionados para obtener explicaciones detalladas.

1. Aleatorización de las órdenes de ensayo y bloqueo
   1. Defina y cree dos funciones para aleatorizar las órdenes de ensayo (RandomizeTrials.m) y las órdenes de bloque (RandomizeBlocks.m) que toman los parámetros de aleatorización (como el ID del participante) como entradas y devuelven una matriz de secuencias pseudoaleatorias.
   2. Consulte los scripts RandomizeBlocks.m (líneas 2-24) y RandomizeTrials.m (líneas 3-26) para obtener detalles sobre cómo se generan las secuencias aleatorias.
2. Seguimiento de la respuesta (RecordMouse, InsideRoi)
   1. Cree una función que rastree y registre la trayectoria del mouse de los participantes y el tiempo transcurrido durante el experimento (consulte RecordMouse.m).
   2. Cree una función auxiliar para comprobar si las coordenadas en las que se ha hecho clic se encuentran dentro de las regiones aceptables o no (consulte el script InsideRoi.m).
3. Generación de texturas para instrucciones y comentarios (GenerateTextures.m, GenerateResponsePage.m)
   1. Prepare las instrucciones relacionadas con el experimento y los comentarios relacionados con los ensayos como imágenes.
   2. Guarde el contenido de estas imágenes en un archivo .mat (consulte Archivo ExperimentImages.mat [Archivo de codificación suplementario 13]).
   3. Cargue el archivo .mat en el área de trabajo (consulte GenerateTextures.m, línea 25) después de crear una ventana en pantalla.
   4. Cree una textura independiente y su identificador para cada imagen (consulte GenerateTextures.m líneas 27-165).
   5. Defina una función para dibujar las texturas de página de respuesta relacionadas para cada script de experimento (consulte GenerateResponsePage.m).
4. Conexión del PC Actor al PC Experimenter a través de TCP/IP
   1. Cree un socket de servidor TCP en el script (consulte ExperimentScript2.m línea 174) que se ejecuta en el equipo del experimentador.
   2. Cree un socket de cliente TCP correspondiente en el script (consulte ActorMachine.m línea 16) que se ejecuta en el PC de Actor.
   3. Envíe información sobre el próximo bloque/prueba a los actores desde el guión (consulte las líneas 207, 229 y 278 en ExperimentScript2.m o consulte las líneas 136, 141, 153, 159 y 297 en ExperimentScript3.m) que se ejecuta en el equipo del experimentador.
   4. Muestre la información recibida del PC del Experimentador en la ventana en pantalla del PC del Actor (consulte las líneas 31-47 en ActorMachine.m).
5. Conexión del microcontrolador al PC del experimentador
   1. Conecte el microcontrolador a un puerto USB específico (por ejemplo, PUERTO 9) para controlar el estado (ON o OFF) de los LED instalados detrás del escenario.
   2. Establezca una comunicación serie entre el dispositivo microcontrolador y el PC del experimentador (consulte la línea 185 en el script ExperimentScript2.m).
   3. Envíe una señal lógica alta (1) al microcontrolador desde el script que se ejecuta en el PC del Experimentador (consulte la línea 290 en ExperimentScript2.m o consulte la línea 311 en los scripts ExperimentScript3.m) para encender los LED cuando las acciones se muestren a través del cable USB.
   4. Envíe una señal lógica baja (0) al microcontrolador desde el script que se ejecuta en el PC del experimentador (consulte la línea 292 en ExperimentScript2.m o consulte la línea 314 en los scripts de ExperimentScript3.m) para apagar los LED cuando se espera que el participante dé una respuesta.

4. El flujo de un experimento de muestra

1. Pasos previos al experimento
   1. Asegúrese de que todos los dispositivos del laboratorio (Experimenter PC, Camera PC, Actor PC y Participant Display) estén alimentados por un UPS.
   2. Vincule el microcontrolador Lightning a la PC del Experimentador a través de un cable USB, para que se encienda automáticamente cuando se encienda el PC del Experimentador).
   3. Encienda el PC del experimentador y compruebe si está conectado a Wi-Fi de 5 GHz.
   4. Elija el dispositivo de sonido (los altavoces de la Tabla de materiales) como dispositivo de salida de sonido del PC del experimentador.
   5. Encienda la pantalla del participante y establezca la configuración de volumen al 80%.
   6. Establezca la configuración de pantalla del PC Experimenter para varios monitores. Extienda la visualización del PC experimental a la pantalla del participante. La pantalla del PC del Experimentador será 1 y la Pantalla del Participante será 2.
   7. Encienda el PC Actor y compruebe si está conectado a Wi-Fi de 5 GHz.
   8. Conecte la cámara de seguridad al Actor PC a través de un cable USB, para que se encienda automáticamente cuando se encienda el Actor PC.
   9. Encienda el PC con cámara y abra la aplicación de la cámara en el escritorio. Asegúrese de que cada actor, sus movimientos y su entrada y salida al gabinete sean visibles desde la cámara.
   10. Asegúrese de que todas las computadoras, pantallas y dispositivos (el dispositivo de respuesta [mouse inalámbrico del participante], los altavoces, el teclado y el mouse de la PC Experimenter y Actor PC y el microcontrolador Lightning) funcionen correctamente.
   11. Dar la bienvenida al participante a otra sala; Después de dar información breve sobre el estudio, proporcione el formulario de consentimiento y deje que el participante lo firme.
   12. Pídale al participante que saque un número de una bolsa y dígales que el número será su identificación de participante durante todo el estudio.
   13. Deje que el participante complete el formulario de datos demográficos en línea con su ID de participante anónimo.
       NOTA: Es crucial que los participantes no vean a los actores antes del experimento. Por lo tanto, este papeleo se completa en otra sala en lugar de la sala de experimentos principal para que los actores puedan tomar descansos entre los participantes.
2. Los pasos del experimento
   1. Abra el software del experimento en el equipo del experimentador, abra el script ExperimentScript1.m y ejecútelo.
   2. Complete la identificación del participante y la edad; luego, el guión iniciará la primera parte del experimento (el primer estímulo visible será una cruz en el centro de la pantalla del participante).
   3. Abra el software del experimento en el PC Actor y abra el script ActorMachine.m.
   4. Coloque el PC con cámara cerca del PC del experimentador y asegúrese de que el material de archivo procedente de la cámara de seguridad no sea visible para el participante.
   5. Dé la bienvenida al participante a la sala principal de experimentos y déjelo sentarse frente a la pantalla del participante.
   6. Dígale al participante que se organice de tal manera que la cruz esté en el medio y recto.
   7. Dé instrucciones sobre las partes del experimento brevemente haciendo referencia a las explicaciones y duraciones escritas en la pizarra.
   8. Apaga todas las luces de la sala de experimentos.
3. Experimento parte 1:
   1. Dígale al participante que completará el entrenamiento léxico/conceptual en la primera parte del experimento. Adviérteles sobre tener cuidado de seguir las instrucciones para que puedan pasar el entrenamiento.
   2. Dígale al participante que el experimento se puede iniciar cuando esté listo.
   3. Presione el botón ESC cuando el participante diga que está listo para la primera parte.
      NOTA: A partir de ahora, el participante progresará a través del experimento leyendo las instrucciones en la pantalla del participante y seleccionando una de las opciones. Recibirán retroalimentación sobre sus respuestas correctas e incorrectas para que puedan progresar bien en la capacitación. El emparejamiento continuará hasta que los participantes alcancen el umbral mínimo (80%) dentro de 10 repeticiones de bloque.
   4. Cuando el participante complete la parte de entrenamiento, presione el botón ESC y dígale al participante que el experimentador está tomando el control del mouse para iniciar la segunda parte del experimento.
4. Experimento parte 2:
   1. Abra el script ExperimentScript2.m y espere el mensaje Esperando el PC de Actor.
   2. Toque el timbre cuando se vea el mensaje para que uno de los actores pueda ejecutar el guión en el PC Actor para habilitar la conexión con el PC Experimenter.
   3. Espere a que aparezca el mensaje Experimento Parte 2 está listo.
   4. Dígale al participante que ahora que la pantalla será transparente mientras observa algunas acciones cortas a través de ella.
   5. Adviérteles que observen cada acción cuidadosamente e infórmeles que deben decir cuál es la acción en voz alta.
   6. Dígale al participante que el experimento se puede iniciar cuando esté listo.
   7. Presione el botón ESC cuando el participante diga que está listo para la primera parte.
      NOTA: El participante avanza a través de las instrucciones y observa la primera acción. Actor1 realiza las acciones cuando las luces LED están encendidas, y comprueba la siguiente acción desde el mensaje en la PC Actor cuando las luces están apagadas. Cuando finalice cada acción, aparecerá un cuadro de diálogo en la pantalla del PC del experimentador.
   8. Escriba lo que dice el participante sobre la acción en el cuadro de diálogo y escriba 1 o 0 en el segundo cuadro de diálogo según la identificación correcta o incorrecta de la acción, respectivamente.
      NOTA: Estos pasos se repetirán ocho veces para el primer actor, y la música de fondo comenzará a reproducirse cuando sea el momento de que los actores cambien de lugar.
   9. Mira el backstage de las imágenes de la cámara de seguridad en el Camera PC.
   10. Presione el botón ESC para iniciar la identificación de Actor2 cuando el actor agite sus manos hacia la cámara de seguridad con el gesto Estoy listo .
   11. Repita los pasos 4.4.7 y 4.4.8 junto con el participante hasta que también se identifiquen las mismas ocho acciones mientras el Actor2 las realiza.
   12. Cuando el participante vea la advertencia Identificación está completa y salga de la pieza haciendo clic en la flecha, presione el botón ESC y dígale al participante que el experimentador está tomando el control del mouse para iniciar la tercera parte del experimento.
5. Experimento parte 3:
   1. Abra el script ExperimentScript3.m.
   2. Dígale al participante que observará las acciones de ambos actores, y luego hará clic en la opción que crea adecuada.
      NOTA: Los participantes evaluarán las acciones de los actores en cuatro bloques. En dos de los bloques, Actor1 realizará las acciones, y en los otros dos, Actor2 realizará las mismas acciones. En dos de los bloques, los participantes evaluarán las acciones atribuyendo capacidades de Agencia Alta o Baja, y en los otros dos, atribuirán capacidades de Alta o Baja Experiencia.
   3. Presione el botón ESC cuando el participante diga que está listo para la tercera parte.
      NOTA: El participante progresa a través de las instrucciones, y comienzan con el primer bloque. Los actores realizan las acciones a la luz, y mientras los participantes dan sus respuestas, la pantalla se vuelve opaca y las luces se apagan para que los actores puedan ver qué acción viene a continuación. Cuando termine cada bloque, los actores cambiarán de lugar siguiendo las indicaciones en la PC del actor.
   4. Compruebe si todo va bien entre bastidores y si el actor adecuado está llevando a cabo la acción correcta durante los bloqueos.
   5. Presione el botón ESC para comenzar el siguiente bloque cuando el actor correcto agite sus manos con el gesto Estoy listo después del reemplazo de los actores.
   6. Repita los pasos 4.5.4 y 4.5.5 en cooperación con el participante y el actor hasta que se completen los cuatro bloques.
   7. Cuando el participante vea el El experimento ha terminado, mensaje de agradecimiento, presione el botón ESC .
   8. Agradezca al participante, y después de informar y tomar firmas, envíe al participante.

La Figura 5 muestra un ensayo de muestra desde el punto de vista del participante. La Figura 5A muestra al participante mirando el cursor en el centro de la pantalla en su uso opaco. La Figura 5B muestra al participante observando los estímulos de acción en vivo a través de la pantalla. La Figura 5C muestra la pantalla de evaluación presentada al participante después de los estímulos, en la que necesita arrastrar el mouse a una de las dos alternativas en cada esquina superior de la pantalla.

Figura 5: Pantalla OLED desde el punto de vista del participante. (A) Uso opaco de la pantalla digital OLED desde el punto de vista del participante durante una pantalla de fijación. (B) Uso transparente de la pantalla digital OLED desde el punto de vista del participante durante la presentación de una acción en vivo. (C) Uso opaco de la pantalla digital OLED desde el punto de vista del participante durante el período de respuesta. Haga clic aquí para ver una versión más grande de esta figura.

5. Preprocesamiento y análisis de datos

1. Segmentación de datos en condiciones
   1. Lea todos los archivos de datos de los participantes en el espacio de trabajo del entorno de software.
   2. Defina las condiciones para agrupar los datos (dos clases de acción [Action Class1 y Action Class2] x dos actores [Actor1 y Actor2] x dos dimensiones [Agencia y Experiencia] x dos niveles [Alto y Bajo]).
   3. Segmente los datos en cuatro grupos principales: Agencia alta, Agencia baja, Experiencia alta y Experiencia baja.
   4. Divida estos grupos principales en cuatro subgrupos (dos actores x dos clases de acción).
   5. Recorra cada archivo de datos para agrupar los ensayos que pertenecen a uno de los cuatro subgrupos definidos anteriormente.
   6. Almacene la información relevante del ensayo (tiempo de respuesta, movimiento del cursor y puntos de tiempo en los que se muestrea la posición del cursor) en estructuras de datos separadas para cada subgrupo.
   7. Salga del bucle cuando todos los ensayos estén agrupados.
2. Visualización de las trayectorias
   1. Después de segmentar los datos, siga estos pasos para visualizar las trayectorias del ratón.
   2. Para aplicar interpolación de tiempo a las trayectorias de respuesta, para cada ensayo, seleccione 101 pares (x,y) de la matriz de trayectorias para que cada subgrupo de datos tenga ensayos con el mismo número de pasos de tiempo.
      NOTA: Al anclar el número de pares a 101, asegúrese de seguir la convención³²para realizar la normalización de tiempo correcta. Por lo tanto, logre la normalización del tiempo usando la siguiente ecuación, donde n es el número de muestras en una matriz de trayectoria:
      
   3. Calcule la suma de los pares (x,y) en cada uno de los 101 puntos de tiempo, y luego divida el resultado obtenido por el número total de ensayos de ese subgrupo para obtener las medias para cada subgrupo (p. ej., Experimente un actor bajo1 o un actor bajo con experiencia2).
   4. Aplique una operación de escala a los valores de fila para visualizar las trayectorias medias.
      NOTA: El plano de coordenadas 2D supone que ambos ejes aumentan desde el punto cero que se encuentra en la esquina inferior izquierda de la ventana (suponiendo que las coordenadas son enteros positivos), mientras que el formato de píxel toma la esquina superior izquierda de la ventana como referencia (por ejemplo, punto cero). Por lo tanto, aplique una operación de escala para las coordenadas y (correspondientes a los valores de fila en formato de píxeles) de las ubicaciones muestreadas extrayendo la coordenada y muestreada de cada ensayo del valor del número total de filas.
   5. Trazar los subgrupos relacionados en la misma figura para comparar.
      NOTA: Cada trayectoria comienza en el centro del rectángulo situado en la parte inferior central, etiquetado como START, y termina dentro de los rectángulos situados en las esquinas superior izquierda o superior-derecha.

6. Condiciones que pueden conducir a fallas del sistema y precauciones

NOTA: En caso de fallo del sistema, es crucial tener una señal física (tocando una campana) para informar al actor sobre la falla y advertirle que permanezca en un lugar que sea invisible para el participante.

1. Fallos debidos a la conexión de red
   1. Si uno de los equipos está conectado a una red diferente, la solicitud de conexión TCP/IP fallará y el sistema mostrará un error. Para evitar esto, asegúrese de que el PC Experimenter y el PC Actor estén en la misma banda de la misma red inalámbrica.
   2. Para asegurarse de que ambos equipos permanezcan en la misma red, borre las redes inalámbricas conectadas previamente de ambos equipos.
   3. Establezca direcciones IP estáticas para los dispositivos en la red seleccionada, ya que las direcciones IP en una red pueden cambiar sin previo aviso.
   4. Cualquier desconexión momentánea (por ejemplo, debido a un corte de energía, corte de Internet, etc.) a la red puede hacer que el script falle. En estas circunstancias, el sistema debe reiniciarse desde el principio para restablecer la conexión TCP/IP.
      NOTA: El proveedor de servicios de Internet puede cumplir el requisito de IP estáticas para dispositivos. Ciertos puertos pueden estar deshabilitados por el sistema operativo o el hardware en un dispositivo determinado; Por lo tanto, los puertos que se van a utilizar en el experimento deben abrirse y no deben tener una conexión activa hasta que se inicie el script del experimento.
2. Fallos debidos a fallas de software
   1. El entorno de software puede bloquearse debido a conexiones fallidas (por ejemplo, conexión de puerto serie, conexión TCP / IP, conexión de pantalla, etc.), y esto puede provocar una pérdida de datos. Para superar esto, divida el script del experimento principal en varios scripts. Por ejemplo, si hay un bloque que debe completarse antes de que los actores comiencen a realizar acciones, no es necesario crear un servidor en la PC del experimentador durante este bloque. El servidor se puede crear cuando el bloque que implica acciones y, por lo tanto, requiere comunicación entre el PC del Experimentador y el PC del Actor, está a punto de iniciarse.

Resultados

Comparaciones de tiempo de respuesta (RT)
El estudio actual es un proyecto en curso, por lo que, como resultados representativos, se presentan datos de la parte principal del experimento (Experimento Parte 3). Estos datos provienen de 40 participantes, incluidas 23 mujeres y 17 hombres, con edades comprendidas entre 18 y 28 años (M = 22,75, SD = 3,12).

Fue necesario investigar el grado de normalidad de la distribución de las variables dependientes para e...

Discusión

El objetivo general del presente estudio es contribuir a nuestra comprensión de cómo funcionan la percepción visual humana de alto nivel y la cognición en situaciones de la vida real. Este estudio se centró en la percepción de la acción y sugirió un paradigma experimental naturalista pero controlable que permite a los investigadores probar cómo los individuos perciben y evalúan las acciones de los demás mediante la presentación de actores reales en un entorno de laboratorio.

La imp...

Materiales

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)