Un paradigma psicofísico para la recopilación y el análisis de juicios de similitud

Resumen

El protocolo presenta un paradigma psicofísico experimental para obtener grandes cantidades de juicios de similitud, y un flujo de trabajo de análisis acompañante. El paradigma sondea los efectos del contexto y permite el modelado de datos de similitud en términos de espacios euclídeos de al menos cinco dimensiones.

Resumen

Los juicios de similitud se usan comúnmente para estudiar las representaciones mentales y sus correlatos neuronales. Este enfoque se ha utilizado para caracterizar espacios perceptivos en muchos dominios: colores, objetos, imágenes, palabras y sonidos. Idealmente, uno podría querer comparar las estimaciones de la similitud percibida entre todos los pares de estímulos, pero esto a menudo no es práctico. Por ejemplo, si se le pide a un sujeto que compare la similitud de dos elementos con la similitud de otros dos elementos, el número de comparaciones crece con el cuarto poder del tamaño del conjunto de estímulos. Una estrategia alternativa es preguntar a un sujeto a las similitudes de tasa de pares aislados, por ejemplo, en una escala Likert. Esto es mucho más eficiente (el número de calificaciones crece cuadráticamente con el tamaño establecido en lugar de cuartáticamente), pero estas calificaciones tienden a ser inestables y tienen una resolución limitada, y el enfoque también asume que no hay efectos de contexto.

Aquí, se presenta un nuevo paradigma de clasificación para la recopilación eficiente de juicios de similitud, junto con una tubería de análisis (software proporcionado) que prueba si los modelos de distancia euclidiana tienen en cuenta los datos. Los ensayos típicos consisten en ocho estímulos alrededor de un estímulo de referencia central: el sujeto clasifica los estímulos en orden de su similitud con la referencia. Mediante la selección juiciosa de las combinaciones de estímulos utilizados en cada ensayo, el enfoque tiene controles internos para la consistencia y los efectos de contexto. El enfoque fue validado para estímulos extraídos de espacios euclídeos de hasta cinco dimensiones.

El enfoque se ilustra con un experimento que mide similitudes entre 37 palabras. Cada ensayo arroja los resultados de 28 comparaciones por pares de la forma, "¿Fue A más similar a la referencia que B a la referencia?" Si bien la comparación directa de todos los pares de pares de estímulos habría requerido ensayos 221445, este diseño permite la reconstrucción del espacio perceptivo a partir de 5994 comparaciones obtenidas de 222 ensayos.

Introducción

Los seres humanos procesan mentalmente y representan la información sensorial entrante para realizar una amplia gama de tareas, como el reconocimiento de objetos, la navegación, la inferencia sobre el medio ambiente y muchas otras. Los juicios de similitud se usan comúnmente para sondear estas representaciones ^mentales1. Comprender la estructura de las representaciones mentales puede proporcionar una visión de la organización del conocimiento ^conceptual2. También es posible obtener información sobre los cálculos neuronales, relacionando los juicios de similitud con los patrones de activación ^cerebral3. Además, los juicios de similitud revelan características que son sobresalientes en la ^percepción4. Estudiar cómo cambian las representaciones mentales durante el desarrollo puede arrojar luz sobre cómo se ^aprenden5. Por lo tanto, los juicios de similitud proporcionan una valiosa visión del procesamiento de la información en el cerebro.

Un modelo común de representaciones mentales que utilizan similitudes es un modelo de espacio geométrico6,7,8. Aplicado a los dominios sensoriales, este tipo de modelo a menudo se conoce como un espacio ^perceptivo9. Los puntos en el espacio representan estímulos y las distancias entre puntos corresponden a la disimilitud percibida entre ellos. A partir de juicios de similitud, se pueden obtener estimaciones cuantitativas de disimilitudes. Estas disimilitudes por pares (o distancias perceptivas) se pueden utilizar para modelar el espacio perceptivo a través de escalas ^{multidimensionales10}.

Hay muchos métodos para recopilar juicios de similitud, cada uno con sus ventajas y desventajas. La forma más sencilla de obtener medidas cuantitativas de disimilitud es pedir a los sujetos que califiquen en una escala el grado de disimilitud entre cada par de estímulos. Si bien esto es relativamente rápido, las estimaciones tienden a ser inestables a lo largo de las sesiones largas, ya que los sujetos no pueden volver a los juicios anteriores, y los efectos del contexto, si están presentes, no se pueden detectar. (Aquí, un efecto de contexto se define como un cambio en la similitud juzgada entre dos estímulos, basado en la presencia de otros estímulos que no se están comparando). Alternativamente, se puede pedir a los sujetos que comparen todos los pares de estímulos con todos los demás pares de estímulos. Si bien esto produciría un orden de clasificación más confiable de disimilitudes, el número de comparaciones requeridas escala con la cuarta potencia del número de estímulos, lo que lo hace factible solo para conjuntos de estímulos pequeños. Las alternativas más rápidas, como la clasificación en un número predefinido de ^clústeres11 o la clasificación libre, tienen sus propias limitaciones. La clasificación libre (en cualquier número de pilas) es intuitiva, pero obliga al sujeto a categorizar los estímulos, incluso si los estímulos no se prestan fácilmente a la categorización. El método multidislamento más reciente, el MDS inverso, elude muchas de estas limitaciones y es muy ^eficiente12. Sin embargo, este método requiere que los sujetos proyecten sus representaciones mentales en un plano euclidiano 2D y consideren las similitudes de una manera geométrica específica, asumiendo que la estructura de similitud se puede recuperar de las distancias euclidianas en un plano. Por lo tanto, sigue siendo necesario un método eficiente para recopilar grandes cantidades de juicios de similitud, sin hacer suposiciones sobre la geometría subyacente a los juicios.

Aquí se describe un método que es razonablemente eficiente y también evita los posibles escollos anteriores. Al pedir a los sujetos que clasifiquen los estímulos en orden de similitud con una referencia central en cada ^ensayo13, la similitud relativa puede ser sondeada directamente, sin asumir nada sobre la estructura geométrica de las respuestas de los sujetos. El paradigma repite un subconjunto de comparaciones con contextos idénticos y diferentes, lo que permite la evaluación directa de los efectos del contexto, así como la adquisición de respuestas graduadas en términos de probabilidades de elección. El procedimiento de análisis descompone estos juicios de rango en múltiples comparaciones por pares y los utiliza para construir y buscar modelos euclidianos de espacios perceptivos que expliquen los juicios. El método es adecuado para describir en detalle la representación de conjuntos de estímulos de tamaños moderados (por ejemplo, 19 a 49).

Para demostrar la viabilidad del enfoque, se realizó un experimento, utilizando un conjunto de 37 animales como estímulos. Los datos se recopilaron en el transcurso de 10 sesiones de una hora y luego se analizaron por separado para cada tema. El análisis reveló consistencia entre los sujetos y efectos de contexto insignificantes. También evaluó la consistencia de las diferencias percibidas entre los estímulos con modelos euclidianos de sus espacios perceptivos. El paradigma y los procedimientos de análisis descritos en este documento son flexibles y se espera que sean de utilidad para los investigadores interesados en caracterizar las propiedades geométricas de una gama de espacios perceptivos.

Protocolo

Antes de comenzar los experimentos, todos los sujetos dan su consentimiento informado de acuerdo con las directrices institucionales y la Declaración de Helsinki. En el caso de este estudio, el protocolo fue aprobado por la junta de revisión institucional de Weill Cornell Medical College.

1. Instalación y puesta a punto

1. Descargue el código del repositorio de GitHub, similitudes (https://github.com/jvlab/similarities). En la línea de comandos, ejecute: git clone https://github.com/jvlab/similarities.git. - Si git no está instalado, descargue el código como una carpeta comprimida del repositorio.
   NOTA: En el repositorio hay dos subdirectorios: experiments, que contiene dos experimentos de ejemplo, y analysis, que contiene un conjunto de scripts de Python para analizar los datos de similitud recopilados. En el directorio de experimentos, uno (word_exp) hace uso de estímulos de palabras y el otro (image_exp) muestra estímulos de imagen. Cierta familiaridad con Python será útil, pero no necesaria. Se supone que la familiaridad con la línea de comandos: varios pasos requieren ejecutar scripts desde la línea de comandos.
2. Instale las siguientes herramientas y configure un entorno virtual.
   1. python 3: Consulte el enlace para obtener instrucciones: https://realpython.com/installing-python/. Este proyecto requiere Python versión 3.8.
   2. PsychoPy: Desde el enlace (https://www.psychopy.org/download.html), descargue la última versión independiente de PsychoPy para el sistema operativo correspondiente, utilizando el botón azul, en Instalación. Este proyecto utiliza PsychoPy versión 2021.2; los experimentos de muestra proporcionados deben ejecutarse con la versión correcta de PsychoPy como se especifica a continuación.
   3. conda: Desde el enlace (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation), descargue conda, a través de Miniconda o Anaconda, para el sistema operativo correspondiente.
   4. En la línea de comandos, ejecute lo siguiente para crear un entorno virtual con los paquetes de Python necesarios:
      cd ~/similitudes
      conda env create -f environment.yaml
   5. Compruebe si se ha creado el entorno virtual y actívelo de la siguiente manera:
      Conda env list # venv_sim_3.8 debe aparecer en la lista
      conda activar venv_sim_3.8 # para entrar en el entorno virtual
      Conda deactivate # para salir del entorno virtual después de ejecutar scripts
      NOTA: La ejecución de scripts en un entorno a veces puede ser lenta. Espere hasta un minuto para ver cualquier salida impresa en la línea de comandos cuando ejecute un script.
3. Para asegurarse de que el código descargado funciona como se esperaba, ejecute los experimentos de ejemplo proporcionados siguiendo los pasos que se indican a continuación.
   NOTA: El directorio de experimentos (similitudes/experimentos) contiene experimentos de muestra (word_exp y image_exp), haciendo uso de dos tipos de estímulos: palabras e imágenes.
   1. Abre PsychoPy. Vaya a Ver y, a continuación, haga clic en Codificador, ya que el generador predeterminado de PsychoPy no puede abrir .py archivos. Vaya a Archivo, luego haga clic en Abrir y abra word_exp.py (similitudes/experimentos/word_exp/word_exp.py).
   2. Para cargar el experimento, haga clic en el botón verde Ejecutar experimento . Introduzca las iniciales o el nombre y el número de sesión y haga clic en Aceptar.
   3. Siga las instrucciones y realice algunas pruebas para verificar que los estímulos se vuelvan grises cuando se hace clic. Presione Escape cuando esté listo para salir.
      NOTA: PsychoPy se abrirá en pantalla completa, primero mostrando instrucciones y luego algunas pruebas, con texto de marcador de posición en lugar de palabras de estímulo. Cuando se hace clic, las palabras aparecen en gris. Cuando se ha hecho clic en todas las palabras, comienza la siguiente prueba. En cualquier momento, PsychoPy se puede terminar presionando la tecla Escape . Si el programa termina durante los pasos 1.3.2 o 1.3.3, es posible que el sistema operativo del usuario requiera acceso al teclado y al ratón. Si es así, se imprimirá un mensaje de error descriptivo en la ventana de PsychoPy Runner, que guiará al usuario.
   4. A continuación, compruebe que el experimento de imagen se ejecuta con imágenes de marcador de posición. Abre PsychoPy. Vaya a Archivo. Haga clic en Abrir y elija image_exp.psyexp (similitudes/experimentos/image_exp/image_exp.psyexp).
   5. Para asegurarse de que se utiliza la versión correcta, haga clic en el icono de engranaje. Desde la opción Usar versión PsychoPy seleccione 2021.2 en el menú desplegable.
   6. Como antes, haga clic en el botón verde Ejecutar experimento . Introduzca las iniciales o el nombre y el número de sesión y haga clic en Aceptar.
      NOTA: Al igual que en el paso 1.3.2, PsychoPy primero mostrará instrucciones y luego renderizará las pruebas después de que se hayan cargado las imágenes. Cada prueba contendrá ocho imágenes de marcador de posición que rodean una imagen central. Al hacer clic en una imagen, aparecerá un color gris. El programa se puede cerrar presionando Escape.
   7. Desplácese hasta el directorio de datos de cada uno de los directorios del experimento para ver el resultado:
      similitudes/experimentos/image_exp/datos
      similitudes/experimentos/word_exp/datos
      NOTA: Los datos experimentales se escriben en el directorio de datos. El archivo de respuestas.csv contiene respuestas de clics prueba por prueba. El archivo de registro contiene todas las pulsaciones de teclas y los clics del ratón. Es útil para la solución de problemas, si PsychoPy se cierra inesperadamente.
4. Opcionalmente, para comprobar que los scripts de análisis funcionan como se esperaba, reproduzca algunas de las cifras de la sección Resultados representativos de la siguiente manera.
   1. Crear un directorio para los datos preprocesados:
      cd ~/similitudes
      mkdir sample-materials/subject-data/preprocesado
   2. Combine los datos sin procesar de todas las respuestas.csv archivos en un archivo json. En la línea de comandos, ejecute lo siguiente:
      Similitudes de cd
      conda activar venv_sim_3.8
      python -m analysis.preprocess.py
   3. Cuando se le solicite, introduzca los siguientes valores para los parámetros de entrada: 1) ruta a los datos del sujeto: ./sample-materials/subject-data, 2), nombre del experimento: sample_word y 3) ID del sujeto: S7. El archivo json estará en similitudes/sample-materials/subject-data/preprocessed.
   4. Una vez que los datos estén preprocesados, siga los pasos del readme del proyecto en reproducción de figuras. Estos scripts de análisis se ejecutarán más adelante para analizar los datos recopilados del propio experimento del usuario.

2. Recopilación de datos mediante la configuración de un experimento personalizado

NOTA: Los procedimientos se describen para los experimentos de imagen y palabra hasta el paso 3.1. Después de este paso, el proceso es el mismo para ambos experimentos, por lo que el experimento de imagen no se menciona explícitamente.

1. Seleccione un experimento para ejecutarlo. Vaya a la palabra experimento (similitudes/experimentos/word_exp) o al experimento de imagen (similitudes/experimentos/image_exp).
2. Decide el número de estímulos. El tamaño predeterminado del conjunto de estímulos es 37. Para cambiar esto, abra el archivo de configuración (similitudes/análisis/config.yaml) en un editor de código fuente. En el parámetro num_stimuli del archivo de configuración de análisis, establezca el tamaño del estímulo igual a mk + 1 según lo requiera el diseño experimental para enteros k y m.
   NOTA: En el diseño estándar, k ≥ 3 y m = 6. Por lo tanto, los valores válidos para num_stimuli incluyen 19, 25, 31, 37, 43 y 49 (consulte la Tabla 1 para posibles extensiones del diseño).
3. Finalizar los estímulos experimentales. Si se está ejecutando el experimento de palabras, prepare una lista de palabras. Para el experimento de imagen, haga un nuevo directorio y coloque todas las imágenes de estímulo en él. Los tipos de imagen admitidos son png y jpeg. No utilice puntos como separadores en los nombres de archivo (por ejemplo, image.1.png no es válido, pero image1.png o image_1.png son válidos).
4. Si ejecuta la palabra experimento, prepare los estímulos de la siguiente manera.
   1. Cree un nuevo archivo en experimentos/word_exp denominado stimuli.txt. Este archivo se leerá en el paso 3.3.
   2. En el archivo, escriba las palabras en el conjunto de estímulos tal como deben aparecer en la pantalla, con cada palabra en una línea separada. Evite las líneas vacías adicionales o los espacios adicionales junto a las palabras. Véanse los materiales de muestra como referencia (similitudes/materiales de muestra/materiales-exp-de-palabras/sample_word_stimuli.txt).
5. Si se está ejecutando el experimento de imagen, establezca la ruta al conjunto de estímulos de la siguiente manera.
   1. En el directorio de experimentos, busque el archivo de configuración denominado config.yaml (similitudes/experimentos/config.yaml).
   2. Abra el archivo en un editor de código fuente y actualice el valor de la variable files a la ruta al directorio que contiene el conjunto de estímulos (paso 2.3). Aquí es donde PsychoPy buscará los estímulos de imagen.

3. Creación de pruebas de clasificación

1. Use un archivo de estímulos.txt. Si se está ejecutando la palabra experimento, se puede utilizar el archivo creado en el paso 2.4. De lo contrario, utilice la lista de nombres de archivo (como referencia, consulte similitudes/sample-materials/image-exp-materials/sample_image_stimuli.txt). Coloque este archivo en el directorio del experimento apropiado (word_exp o image_exp).
2. Evite las líneas vacías adicionales, así como cualquier espacio en los nombres. Use camelCase o snake_case para los nombres de estímulos.
3. A continuación, cree configuraciones de prueba. Abra el archivo config.yaml en el directorio de análisis y establezca el valor del parámetro path_to_stimulus_list en la ruta de acceso a stimuli.txt (creada en el paso 3.1).
   1. Desde el directorio de similitudes, ejecute el script ejecutando los siguientes comandos uno tras otro:
      cd ~/similitudes
      conda activar venv_sim_3.8
      python -m analysis.trial_configuration
      conda desactivar # salir del entorno virtual
   2. Esto crea un archivo llamado trial_conditions.csv en similitudes en el que cada fila contiene los nombres de los estímulos que aparecen en una prueba, junto con sus posiciones en la pantalla. Se proporciona un archivo de trial_conditions.csv de muestra (similitudes/materiales de muestra). Para obtener más información sobre los parámetros de entrada para los scripts de análisis, consulte el archivo README del proyecto en Uso.

Figura 1: Ejemplos representativos de ensayos (paso 3.3). (A) Cada fila contiene los detalles de un solo ensayo. Los encabezados indican la posición del estímulo alrededor del círculo. El estímulo bajo ref aparece en el centro y stim 1 a stim 8 aparecen alrededor de la referencia. (B) El primer ensayo (fila) de A es renderizado por PsychoPy para mostrar los ocho estímulos alrededor del estímulo de referencia, mono. Haga clic aquí para ver una versión más grande de esta figura.

NOTA: En este punto, se ha generado un conjunto completo de 222 ensayos para una ejecución experimental completa, es decir, para un conjunto de datos completo. La Figura 1A muestra parte de un archivo de condiciones generado por el script anterior, para la palabra experimento (consulte Resultados representativos).

4. A continuación, divida estos 222 ensayos en sesiones y aleatorice el orden del ensayo. En el diseño típico, las sesiones comprenden 111 ensayos, cada uno de los cuales requiere aproximadamente 1 h para ejecutarse.
   1. Para ello, en la línea de comandos ejecute lo siguiente:
      conda activar venv_sim_3.8
      cd ~/similitudes
      python -m analysis.randomize_session_trials
   2. Cuando se le solicite, introduzca los siguientes parámetros de entrada: ruta de acceso a trial_conditions.csv creado en el paso 3.3.2; directorio de salida; número de juicios por período de sesiones: 111; número de repeticiones: 5.
      NOTA: El número de repeticiones también puede variar, pero afectará el número de sesiones realizadas en el paso 4 (ver Discusión: Paradigma experimental). Si cambia el valor predeterminado del número de repeticiones, asegúrese de editar el valor del parámetro num_repeats en el archivo de configuración (similitudes/análisis/config.yaml). Si es necesario, consulte las instrucciones paso a paso para hacer lo anterior manualmente en el archivo README en la sección Crear pruebas.
5. Cambie el nombre y guarde cada uno de los archivos generados como condiciones.csv, en su propio directorio. Consulte la estructura de directorios recomendada aquí: similitudes/materiales-muestra/datos-sujetos y en el readme del proyecto.
   NOTA: Como se describe en el paso 4, cada experimento se repite cinco veces en el diseño estándar, en el transcurso de sesiones de 10 horas de duración, cada una en un día separado. Se debe pedir a los sujetos que vengan solo una sesión por día para evitar la fatiga. Consulte la Tabla 1 para conocer el número de ensayos y sesiones necesarios para conjuntos de estímulos de diferentes tamaños.

4. Ejecución del experimento y recopilación de datos de similitud

1. Explique la tarea a los sujetos y déles instrucciones. En cada ensayo, los sujetos verán un estímulo de referencia central rodeado de ocho estímulos y se les pedirá que hagan clic en los estímulos en el entorno, en orden de similitud con la referencia central, es decir, deben hacer clic en el primero más similar y en el último menos similar.
2. Pídales que traten de usar una estrategia consistente. Dígales que se les mostrará la misma configuración de estímulos varias veces en el transcurso de las 10 sesiones. Si el estudio investiga la representación de la información semántica, asegúrese de que los sujetos estén familiarizados con los estímulos antes de comenzar.
3. Desplácese hasta el directorio del experimento correspondiente (consulte el paso 2.1). Si es la primera vez que se ejecuta el experimento, cree un directorio denominado subject-data para almacenar las respuestas del sujeto. Cree dos subdirectorios en él: sin procesar y preprocesado. Para cada sujeto, cree un subdirectorio dentro de subject-data/raw.
4. Copie el archivo de condiciones.csv preparado en el paso 3 para la sesión específica y péguelo en el directorio actual, es decir, el directorio que contiene el archivo psyexp. Si ya hay un archivo allí, con nombre condiciones.csv, asegúrese de reemplazarlo por el de la sesión actual.
5. Abra PsychoPy y luego abra el archivo psyexp o py en el directorio del experimento correspondiente. En PsychoPy, haga clic en el botón verde Reproducir para ejecutar el experimento. En la ventana emergente modal, introduzca el nombre o ID del asunto y el número de sesión. Haga clic en Aceptar para comenzar. Las instrucciones se mostrarán al comienzo de cada sesión.
6. Permita que el sujeto aproximadamente 1 h complete la tarea. Como la tarea es a su propio ritmo, anime a los sujetos a tomar descansos si es necesario. Cuando el sujeto termine la sesión, PsychoPy terminará automáticamente, y se generarán archivos en el directorio de similitudes/experimentos/_exp/datos.
7. Transfiéralos al directorio subject-data/raw/ (creado en el paso 4.3). Consulte README para ver la estructura de directorios recomendada.
   NOTA: Como se mencionó, el archivo de registro es para la solución de problemas. La causa más común para que PsychoPy se cierre inesperadamente es que un sujeto presiona accidentalmente Escape durante una sesión. Si esto sucede, las respuestas para los juicios hasta el último ensayo completado aún se escribirán en el archivo .csv respuestas.
8. Si PsychoPy se cierra inesperadamente, vuelva a abrirlo y cree un nuevo archivo de condiciones.csv, con solo los ensayos que no se habían intentado. Reemplace el archivo de condiciones de la sesión existente por este y vuelva a ejecutar el experimento. Asegúrese de guardar los archivos generados en el lugar apropiado. Al final de la sesión, los dos archivos de respuestas se pueden combinar manualmente en uno, aunque esto no es necesario.
9. Para cada una de las sesiones restantes, repita los pasos 4.4 a 4.8.
10. Una vez completadas todas las sesiones, combine los archivos de datos sin procesar y vuelva a formatearlos en un solo archivo json para su posterior procesamiento. Para ello, ejecute preprocess.py en el terminal (similitudes/análisis/preproceso.py) de la siguiente manera:
    cd ~/similitudes
    conda activar venv_sim_3.8
    python -m analysis.preprocess
11. Cuando se le solicite, introduzca los parámetros de entrada solicitados: la ruta de acceso al directorio subject-data, los ID de sujeto para los que se van a preprocesar los datos y el nombre del experimento (utilizado para nombrar el archivo de salida). Pulse Intro.
12. Salga del entorno virtual:
    conda desactivar
    Nota : esto creará un archivo json en el directorio de salida que combina respuestas a través de repeticiones para cada prueba. Los datos de similitud se leen a partir de subject-data/raw y se escriben en subject-data/preprocessed.

5. Analizar los juicios de similitud

NOTA: Se pide a los sujetos que hagan clic en los estímulos en orden de similitud con la referencia, proporcionando así una clasificación en cada ensayo. Para los experimentos estándar, repita cada ensayo cinco veces, generando cinco órdenes de rango de los mismos ocho estímulos (ver Figura 2B). Estos juicios de rango se interpretan como una serie de comparaciones en las que un sujeto compara pares de distancias perceptivas. Se supone que el sujeto está haciendo la siguiente pregunta antes de cada clic: "¿Es la distancia (perceptiva) entre la referencia y el estímulo A menor que la distancia entre la referencia y el estímulo B?" Como se muestra en la Figura 2C, esto produce probabilidades de elección para múltiples comparaciones de similitud por pares para cada ensayo. El siguiente análisis utiliza estas probabilidades de elección.

Figura 2: Obtención de probabilidades de elección a partir de juicios de clasificación. (A) Una ilustración de un ensayo a partir del experimento de palabras que realizamos. B) Se obtuvieron cinco órdenes de rango para el mismo juicio, en el transcurso de varias sesiones. (C) Probabilidades de elección para las comparaciones de disimilitud por pares que representan los juicios de clasificación. Haga clic aquí para ver una versión más grande de esta figura.

1. Determine las probabilidades de elección por pares a partir de juicios de orden de rango.
   1. En similitudes/análisis, ejecute describe_data.py en la línea de comandos.
      cd ~/similitudes
      conda activar venv_sim_3.8
      python -m analysis.describe_data
   2. Cuando se le solicite, introduzca la ruta de acceso a subject-data/preprocessed y la lista de sujetos para los que se ejecutará el análisis.
      NOTA: Esto creará tres tipos de gráficos: i) la distribución de probabilidades de elección para el conjunto completo de datos de un sujeto dado, ii) mapas de calor para evaluar la consistencia entre las probabilidades de elección para pares de sujetos, y iii) un mapa de calor de probabilidades de elección para todas las comparaciones que ocurren en dos contextos para evaluar los efectos del contexto. Operativamente, esto significa comparar las probabilidades de elección en pares de ensayos que contienen la misma referencia y un par común de estímulos en el anillo, pero difieren en todos los demás estímulos en el anillo: el mapa de calor muestra cómo la probabilidad de elección depende de este contexto.
2. Generar modelos euclídeos de baja dimensión de los espacios perceptivos, utilizando las probabilidades de elección. Ejecute model_fitting.py en la línea de comandos de la siguiente manera:
   cd ~/similitudes
   conda activar venv_sim_3.8
   python -m analysis.model_fitting
   1. Proporcione los siguientes parámetros de entrada cuando se le solicite: ruta de acceso al directorio subject-data/preprocesado; el número de estímulos (37 por defecto); el número de iteraciones (el número de veces que se debe ejecutar el análisis de modelado); el directorio de salida; y la cantidad de ruido gaussiano (0,18 por defecto).
      Nota : este script tarda unas horas en ejecutarse. Cuando termine, los archivos npy que contienen las coordenadas más adecuadas para los modelos 1D, 2D, 3D, 4D y 5D que describen los datos de similitud se escribirán en el directorio de salida. Se generará un archivo csv que contiene los valores de probabilidad de registro de los diferentes modelos.
3. Visualizar la probabilidad logarítmica de los modelos obtenidos y evaluar su ajuste. Para ello, ejecute similitudes/análisis/model_fitting_figure.py en la línea de comandos:
   cd ~/similitudes
   python -m analysis.model_fitting_figure
   1. Cuando se le solicite, introduzca el parámetro necesario: la ruta de acceso a los archivos csv que contienen probabilidades de registro (del paso 5.2).
   2. Analice la figura generada, mostrando las probabilidades logarítmicas en el eje y y las dimensiones del modelo en el eje x. Como control de cordura, se incluyen dos modelos además de los modelos euclidianos: un modelo de elección aleatoria y un mejor modelo posible.
      NOTA: El modelo de elección aleatoria asume que los sujetos hacen clic al azar. Por lo tanto, proporciona un límite inferior absoluto en la probabilidad logarítmica para cualquier modelo que sea mejor que el aleatorio. Del mismo modo, como límite superior para la probabilidad logarítmica (etiquetada como la mejor), existe la probabilidad logarítmica de un modelo que utiliza las probabilidades de elección empírica como sus probabilidades de modelo.
   3. Verifique que ningún modelo euclidiano supere al mejor modelo, ya que el mejor modelo es, por diseño, sobreajustado y no limitado por consideraciones geométricas. Compruebe que las probabilidades trazadas son relativas a la mejor probabilidad logarítmica.
4. Visualiza los espacios perceptivos para cada sujeto. Genere diagramas de dispersión que muestren los puntos del modelo 5D proyectados en los dos primeros componentes principales. Para ello, ejecute similitudes/análisis/perceptual_space_visualizations.py en la línea de comandos:
   cd ~/similitudes
   python -m analysis.perceptual_space_visualizations
   1. Cuando se le solicite, introduzca los parámetros: los identificadores de sujeto (separados por espacios) y la ruta al archivo npy que contiene los puntos 5D obtenidos del paso 5.2.
   2. Una vez que el script haya terminado de ejecutarse, salga del entorno virtual:
      conda desactivar
      NOTA: Este script es para la visualización de los juicios de similitud. Creará un diagrama de dispersión 2D, proyectando los puntos 5D sobre los dos primeros componentes principales, normalizados para tener igual varianza. Dos puntos estarán más separados si el sujeto los considera menos similares y viceversa.

Resultados

La figura 1A muestra parte de un archivo de condiciones generado por el script en el paso 3.3, para la palabra experimento. Cada fila corresponde a una prueba. El estímulo en la columna ref aparece en el centro de la pantalla. Los nombres de columna stim1 a stim8 corresponden a ocho posiciones a lo largo de un círculo, corriendo en sentido contrario a las agujas del reloj, comenzando desde la posición a la derecha de la referencia central. En la Figura 1B se ...

Discusión

El protocolo aquí esbozado es efectivo para obtener y analizar juicios de similitud para estímulos que pueden ser presentados visualmente. El paradigma experimental, el análisis y las posibles extensiones se discuten primero, y luego las ventajas y desventajas del método.

Paradigma experimental: El método propuesto se demuestra utilizando un dominio de 37 nombres de animales, y se proporciona un conjunto de datos de muestra de juicios perceptivos para que uno pueda seguir...

Materiales

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.