Ein psychophysikalisches Paradigma zur Sammlung und Analyse von Ähnlichkeitsurteilen

Zusammenfassung

Das Protokoll stellt ein experimentelles psychophysikalisches Paradigma vor, um große Mengen an Ähnlichkeitsurteilen zu erhalten, und einen begleitenden Analyse-Workflow. Das Paradigma untersucht Kontexteffekte und ermöglicht die Modellierung von Ähnlichkeitsdaten in Bezug auf euklidische Räume von mindestens fünf Dimensionen.

Zusammenfassung

Ähnlichkeitsurteile werden häufig verwendet, um mentale Repräsentationen und ihre neuronalen Korrelate zu untersuchen. Dieser Ansatz wurde verwendet, um Wahrnehmungsräume in vielen Bereichen zu charakterisieren: Farben, Objekte, Bilder, Wörter und Klänge. Im Idealfall könnte man Schätzungen der wahrgenommenen Ähnlichkeit zwischen allen Reizpaaren vergleichen, aber das ist oft unpraktisch. Wenn man beispielsweise ein Subjekt bittet, die Ähnlichkeit zweier Items mit der Ähnlichkeit zweier anderer Items zu vergleichen, wächst die Anzahl der Vergleiche mit der vierten Potenz der Stimulus-Set-Größe. Eine alternative Strategie besteht darin, ein Subjekt nach Ratenähnlichkeiten isolierter Paare zu fragen, z. B. auf einer Likert-Skala. Dies ist viel effizienter (die Anzahl der Bewertungen wächst quadratisch mit der festgelegten Größe und nicht quartär), aber diese Bewertungen sind tendenziell instabil und haben eine begrenzte Auflösung, und der Ansatz geht auch davon aus, dass es keine Kontexteffekte gibt.

Hier wird ein neuartiges Ranking-Paradigma für die effiziente Sammlung von Ähnlichkeitsurteilen vorgestellt, zusammen mit einer Analysepipeline (Software zur Verfügung gestellt), die testet, ob euklidische Entfernungsmodelle die Daten berücksichtigen. Typische Versuche bestehen aus acht Reizen um einen zentralen Referenzreiz: Das Subjekt ordnet Reize in der Reihenfolge ihrer Ähnlichkeit mit der Referenz ein. Durch die sorgfältige Auswahl von Kombinationen von Reizen, die in jeder Studie verwendet werden, verfügt der Ansatz über interne Kontrollen für Konsistenz und Kontexteffekte. Der Ansatz wurde für Reize aus euklidischen Räumen von bis zu fünf Dimensionen validiert.

Der Ansatz wird mit einem Experiment veranschaulicht, das Ähnlichkeiten zwischen 37 Wörtern misst. Jede Studie liefert die Ergebnisse von 28 paarweisen Vergleichen der Form "War A der Referenz ähnlicher als B der Referenz?" Während der direkte Vergleich aller Paare von Reizpaaren 221445 Versuche erfordert hätte, ermöglicht dieses Design die Rekonstruktion des Wahrnehmungsraums aus 5994 solchen Vergleichen, die aus 222 Versuchen gewonnen wurden.

Einleitung

Menschen verarbeiten und repräsentieren geistig eingehende sensorische Informationen, um eine Vielzahl von Aufgaben auszuführen, wie Objekterkennung, Navigation, Rückschlüsse auf die Umwelt und viele andere. Ähnlichkeitsurteile werden häufig verwendet, um diese mentalen Repräsentationen zu ^{untersuchen1.} Das Verständnis der Struktur mentaler Repräsentationen kann einen Einblick in die Organisation des konzeptionellen Wissens ^geben2. Es ist auch möglich, Einblicke in neuronale Berechnungen zu gewinnen, indem Ähnlichkeitsurteile mit Gehirnaktivierungsmustern in Beziehung gesetzt ^werden3. Darüber hinaus zeigen Ähnlichkeitsurteile Merkmale auf, die in der Wahrnehmung ^{hervorstechen4.} Zu untersuchen, wie sich mentale Repräsentationen während der Entwicklung verändern, kann Aufschluss darüber geben, wie sie erlernt ^werden5. So liefern Ähnlichkeitsurteile wertvolle Einblicke in die Informationsverarbeitung im Gehirn.

Ein gängiges Modell für mentale Repräsentationen, die Ähnlichkeiten verwenden, ist ein geometrisches ^{Raummodell6,7,8}. Auf sensorische Domänen angewendet, wird diese Art von Modell oft als Wahrnehmungsraum ^bezeichnet9. Punkte im Raum stellen Reize dar und Abstände zwischen Punkten entsprechen der wahrgenommenen Unähnlichkeit zwischen ihnen. Aus Ähnlichkeitsurteilen kann man quantitative Schätzungen von Unähnlichkeiten erhalten. Diese paarweisen Unähnlichkeiten (oder Wahrnehmungsabstände) können dann verwendet werden, um den Wahrnehmungsraum über mehrdimensionale Skalierung zu ^{modellieren10}.

Es gibt viele Methoden, um Ähnlichkeitsurteile zu sammeln, jede mit ihren Vor- und Nachteilen. Der einfachste Weg, quantitative Messungen der Unähnlichkeit zu erhalten, besteht darin, die Probanden zu bitten, auf einer Skala den Grad der Unähnlichkeit zwischen jedem Reizpaar zu bewerten. Während dies relativ schnell ist, neigen die Schätzungen dazu, über lange Sitzungen hinweg instabil zu sein, da die Probanden nicht zu früheren Urteilen zurückkehren können und Kontexteffekte, falls vorhanden, nicht erkannt werden können. (Hier wird ein Kontexteffekt als eine Veränderung der beurteilten Ähnlichkeit zwischen zwei Reizen definiert, basierend auf dem Vorhandensein anderer Reize, die nicht verglichen werden.) Alternativ können Probanden gebeten werden, alle Reizpaare mit allen anderen Reizpaaren zu vergleichen. Während dies zu einer zuverlässigeren Rangfolge von Unähnlichkeiten führen würde, erforderte die Anzahl der Vergleiche Skalen mit der vierten Potenz der Anzahl der Reize, was es nur für kleine Stimulussätze machbar machte. Schnellere Alternativen, wie das Sortieren in eine vordefinierte Anzahl von ^Clustern11 oder das freie Sortieren, haben ihre eigenen Einschränkungen. Die freie Sortierung (in eine beliebige Anzahl von Stapeln) ist intuitiv, zwingt das Subjekt jedoch, die Reize zu kategorisieren, auch wenn sich die Reize nicht leicht für eine Kategorisierung eignen. Die neuere Multi-Arrangement-Methode, das inverse MDS, umgeht viele dieser Einschränkungen und ist sehr ^effizient12. Diese Methode erfordert jedoch, dass die Probanden ihre mentalen Repräsentationen auf eine euklidische 2D-Ebene projizieren und Ähnlichkeiten auf eine bestimmte geometrische Weise berücksichtigen, wobei davon ausgegangen wird, dass die Ähnlichkeitsstruktur aus euklidischen Entfernungen auf einer Ebene wiederhergestellt werden kann. Daher besteht nach wie vor Bedarf an einer effizienten Methode, um große Mengen von Ähnlichkeitsurteilen zu sammeln, ohne Annahmen über die den Urteilen zugrunde liegende Geometrie zu treffen.

Beschrieben wird hier eine Methode, die sowohl einigermaßen effizient ist als auch die oben genannten potenziellen Fallstricke vermeidet. Indem die Probanden gebeten werden, die Reize in der Reihenfolge ihrer Ähnlichkeit mit einer zentralen Referenz in jeder Studie zu ^ordnen13, kann die relative Ähnlichkeit direkt untersucht werden, ohne etwas über die geometrische Struktur der Antworten der Probanden anzunehmen. Das Paradigma wiederholt eine Teilmenge von Vergleichen mit identischen und unterschiedlichen Kontexten, was eine direkte Bewertung von Kontexteffekten sowie die Erfassung von abgestuften Antworten in Bezug auf Auswahlwahrscheinlichkeiten ermöglicht. Das Analyseverfahren zerlegt diese Rangurteile in mehrere paarweise Vergleiche und verwendet sie, um euklidische Modelle von Wahrnehmungsräumen zu erstellen und zu suchen, die die Urteile erklären. Die Methode eignet sich, um die Darstellung von Reizsätzen mittlerer Größe (z. B. 19 bis 49) detailliert zu beschreiben.

Um die Machbarkeit des Ansatzes zu demonstrieren, wurde ein Experiment durchgeführt, bei dem ein Satz von 37 Tieren als Stimuli verwendet wurde. Die Daten wurden im Laufe von 10 einstündigen Sitzungen gesammelt und dann für jedes Fach separat analysiert. Die Analyse ergab Konsistenz zwischen den Themen und vernachlässigbare Kontexteffekte. Es bewertete auch die Konsistenz der wahrgenommenen Unähnlichkeiten zwischen Reizen mit euklidischen Modellen ihrer Wahrnehmungsräume. Die in diesem Papier beschriebenen Paradigmen- und Analyseverfahren sind flexibel und werden voraussichtlich für Forscher von Nutzen sein, die daran interessiert sind, die geometrischen Eigenschaften einer Reihe von Wahrnehmungsräumen zu charakterisieren.

Protokoll

Vor Beginn der Experimente geben alle Probanden eine Einwilligung nach Aufklärung gemäß den institutionellen Richtlinien und der Erklärung von Helsinki ab. Im Falle dieser Studie wurde das Protokoll vom institutionellen Überprüfungsausschuss des Weill Cornell Medical College genehmigt.

1. Installation und Einrichtung

1. Laden Sie den Code aus dem GitHub-Repository herunter, Ähnlichkeiten (https://github.com/jvlab/similarities). Führen Sie in der Befehlszeile Folgendes aus: git clone https://github.com/jvlab/similarities.git. - Wenn git nicht installiert ist, laden Sie den Code als gezippten Ordner aus dem Repository herunter.
   HINWEIS: Im Repository befinden sich zwei Unterverzeichnisse: experiments, das zwei Beispielexperimente enthält, und analysis, das eine Reihe von Python-Skripten zur Analyse gesammelter Ähnlichkeitsdaten enthält. Im Experimentierverzeichnis bedient sich einer (word_exp) Wortreizen und der andere (image_exp) zeigt Bildreize an. Etwas Vertrautheit mit Python wird hilfreich sein, aber nicht notwendig. Vertrautheit mit der Befehlszeile wird vorausgesetzt: Mehrere Schritte erfordern das Ausführen von Skripts über die Befehlszeile.
2. Installieren Sie die folgenden Tools, und richten Sie eine virtuelle Umgebung ein.
   1. python 3: Anweisungen finden Sie unter dem Link: https://realpython.com/installing-python/. Für dieses Projekt ist Python Version 3.8 erforderlich.
   2. PsychoPy: Laden Sie über den Link (https://www.psychopy.org/download.html) die neueste Standalone-Version von PsychoPy für das entsprechende Betriebssystem herunter, indem Sie die blaue Schaltfläche unter Installation verwenden. Dieses Projekt verwendet PsychoPy Version 2021.2; Die bereitgestellten Beispielexperimente müssen mit der richtigen Version von PsychoPy wie unten angegeben ausgeführt werden.
   3. conda: Laden Sie über den Link (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation) conda über Miniconda oder Anaconda für das entsprechende Betriebssystem herunter.
   4. Führen Sie in der Befehlszeile Folgendes aus, um eine virtuelle Umgebung mit den erforderlichen Python-Paketen zu erstellen:
      cd ~/Ähnlichkeiten
      conda env create -f environment.yaml
   5. Überprüfen Sie, ob die virtuelle Umgebung erstellt wurde, und aktivieren Sie sie wie folgt:
      conda env list # venv_sim_3.8 sollte aufgelistet werden
      conda aktivieren Sie venv_sim_3.8 #, um in die virtuelle Umgebung einzusteigen
      conda deaktivieren #, um die virtuelle Umgebung nach dem Ausführen von Skripten zu verlassen
      HINWEIS: Das Ausführen von Skripts in einer Umgebung kann manchmal langsam sein. Es kann bis zu einer Minute dauern, bis die gedruckte Ausgabe in der Befehlszeile angezeigt wird, wenn Sie ein Skript ausführen.
3. Um sicherzustellen, dass heruntergeladener Code wie erwartet funktioniert, führen Sie die bereitgestellten Beispielexperimente mit den folgenden Schritten aus.
   HINWEIS: Das Experimentverzeichnis (Ähnlichkeiten/Experimente) enthält Beispielexperimente (word_exp und image_exp), wobei zwei Arten von Reizen verwendet werden: Wörter und Bilder.
   1. Öffne PsychoPy. Gehen Sie zu Ansicht und klicken Sie dann auf Coder, da der Standard-Builder von PsychoPy .py Dateien nicht öffnen kann. Wechseln Sie zu Datei, klicken Sie auf Öffnen, und öffnen Sie word_exp.py (Ähnlichkeiten/Experimente/word_exp/ word_exp.py ).
   2. Um das Experiment zu laden, klicken Sie auf die grüne Schaltfläche Test ausführen. Geben Sie die Initialen oder den Namen und die Sitzungsnummer ein und klicken Sie auf OK.
   3. Folgen Sie den Anweisungen und führen Sie einige Versuche durch, um zu überprüfen, ob Reize beim Klicken grau werden. Drücken Sie die Esc-Taste , wenn Sie zum Beenden bereit sind.
      HINWEIS: PsychoPy wird im Vollbildmodus geöffnet und zeigt zuerst Anweisungen und dann einige Versuche mit Platzhaltertext anstelle von Stimuluswörtern an. Wenn Sie darauf klicken, werden die Wörter ausgegraut. Wenn alle Wörter angeklickt wurden, beginnt die nächste Testversion. PsychoPy kann jederzeit durch Drücken der Esc-Taste beendet werden. Wenn das Programm während der Schritte 1.3.2 oder 1.3.3 beendet wird, ist es möglich, dass das Betriebssystem des Benutzers Zugriff auf Tastatur und Maus benötigt. Wenn ja, wird eine beschreibende Fehlermeldung im PsychoPy Runner-Fenster ausgegeben, die den Benutzer führt.
   4. Überprüfen Sie als nächstes, ob das Bildexperiment mit Platzhalterbildern ausgeführt wird. Öffne PsychoPy. Gehe zu Datei. Klicken Sie auf Öffnen und wählen Sie image_exp.psyexp (Ähnlichkeiten/Experimente/image_exp/image_exp.psyexp).
   5. Um sicherzustellen, dass die richtige Version verwendet wird, klicken Sie auf das Zahnradsymbol . Wählen Sie aus der Option PsychoPy-Version verwenden 2021.2 aus dem Dropdown-Menü.
   6. Klicken Sie wie zuvor auf die grüne Schaltfläche Experiment ausführen. Geben Sie die Initialen oder den Namen und die Sitzungsnummer ein und klicken Sie auf OK.
      HINWEIS: Wie in Schritt 1.3.2 zeigt PsychoPy zuerst Anweisungen an und rendert dann Versuche, nachdem Bilder geladen wurden. Jede Testversion enthält acht Platzhalterbilder, die ein zentrales Bild umgeben. Wenn Sie auf ein Bild klicken, wird es ausgegraut. Das Programm kann durch Drücken der Escape-Taste beendet werden.
   7. Navigieren Sie zum Datenverzeichnis in jedem der Testverzeichnisse, um die Ausgabe anzuzeigen:
      Ähnlichkeiten/Experimente/image_exp/Daten
      Ähnlichkeiten/Experimente/word_exp/Daten
      HINWEIS: Experimentelle Daten werden in das Datenverzeichnis geschrieben. Die Datei Antworten.csv enthält Test-für-Test-Klickantworten. Die Protokolldatei enthält alle Tastendrücke und Mausklicks. Es ist nützlich für die Fehlerbehebung, wenn PsychoPy unerwartet beendet wird.
4. Um zu überprüfen, ob die Analyseskripts wie erwartet funktionieren, reproduzieren Sie optional einige der Zahlen im Abschnitt Repräsentative Ergebnisse wie folgt.
   1. Erstellen Sie ein Verzeichnis für vorverarbeitete Daten:
      cd ~/Ähnlichkeiten
      mkdir Mustermaterialien/Betreffdaten/vorverarbeitet
   2. Kombinieren Sie die Rohdaten aus allen Antwortdateien.csv zu einer JSON-Datei. Führen Sie in der Befehlszeile Folgendes aus:
      cd Ähnlichkeiten
      conda aktivieren venv_sim_3.8
      python -m analysis.preprocess.py
   3. Wenn Sie dazu aufgefordert werden, geben Sie die folgenden Werte für die Eingabeparameter ein: 1) Pfad zu den Probanddaten: ./sample-materials/subject-data, 2), Name des Experiments: sample_word, und 3) Proband-ID: S7. Die JSON-Datei befindet sich in Ähnlichkeiten/Beispielmaterialien/Betreffdaten/vorverarbeitet.
   4. Sobald die Daten vorverarbeitet wurden, folgen Sie den Schritten in der Projekt-README unter Wiedergabe von Zahlen. Diese Analyseskripte werden später ausgeführt, um Daten aus dem eigenen Experiment des Benutzers zu analysieren.

2. Datenerfassung durch Einrichten eines benutzerdefinierten Experiments

HINWEIS: Die Verfahren werden sowohl für die Bild- als auch für die Wortexperimente bis Schritt 3.1 beschrieben. Nach diesem Schritt ist der Prozess für beide Experimente gleich, so dass das Bildexperiment nicht explizit erwähnt wird.

1. Wählen Sie ein auszuführendes Experiment aus. Navigieren Sie zum Wort Experiment (Ähnlichkeiten/Experimente/word_exp) oder zum Bildexperiment (Ähnlichkeiten/Experimente/image_exp).
2. Entscheiden Sie über die Anzahl der Reize. Die Standardgröße des Stimulussatzes ist 37. Um dies zu ändern, öffnen Sie die Konfigurationsdatei (similarities/analysis/config.yaml) in einem Quellcode-Editor. Legen Sie im Parameter num_stimuli der Analysekonfigurationsdatei die Stimulusgröße auf mk + 1 fest, wie vom Versuchsplan für die ganzen Zahlen k und m gefordert.
   HINWEIS: In der Standardausführung ≥ k 3 und m = 6. Zu den gültigen Werten für num_stimuli gehören daher 19, 25, 31, 37, 43 und 49 (mögliche Erweiterungen des Entwurfs siehe Tabelle 1).
3. Finalisieren Sie die experimentellen Reize. Wenn das Wort Experiment ausgeführt wird, bereiten Sie eine Liste von Wörtern vor. Erstellen Sie für das Bildexperiment ein neues Verzeichnis und platzieren Sie alle Stimulusbilder darin. Unterstützte Bildtypen sind png und jpeg. Verwenden Sie keine Punkte als Trennzeichen in Dateinamen (z. B. image.1.png ist ungültig, aber image1.png oder image_1.png sind gültig).
4. Wenn Sie das Wort Experiment ausführen, bereiten Sie die Stimuli wie folgt vor.
   1. Erstellen Sie in experiments/word_exp eine neue Datei mit dem Namen stimuli.txt. Diese Datei wird in Schritt 3.3 gelesen.
   2. Schreiben Sie in die Datei die Wörter in den Stimulussatz, wie sie in der Anzeige angezeigt werden sollen, wobei jedes Wort in einer separaten Zeile angezeigt wird. Vermeiden Sie zusätzliche leere Zeilen oder zusätzliche Leerzeichen neben den Wörtern. Siehe Beispielmaterialien als Referenz (Ähnlichkeiten/Mustermaterialien/Wort-exp-Materialien/sample_word_stimuli.txt).
5. Wenn das Image-Experiment ausgeführt wird, legen Sie den Pfad zum Stimulussatz wie folgt fest.
   1. Suchen Sie im Verzeichnis experiments die Konfigurationsdatei config.yaml (similarities/experiments/config.yaml).
   2. Öffnen Sie die Datei in einem Quellcode-Editor und aktualisieren Sie den Wert der Dateivariablen auf den Pfad zu dem Verzeichnis, das den Stimulussatz enthält (Schritt 2.3). Hier wird PsychoPy nach den Bildreizen suchen.

3. Erstellen von Ranking-Trials

1. Verwenden Sie eine Stimuli.txt-Datei. Wenn das Wortexperiment ausgeführt wird, kann die in Schritt 2.4 erstellte Datei verwendet werden. Andernfalls verwenden Sie die Liste der Dateinamen (als Referenz siehe similarities/sample-materials/image-exp-materials/sample_image_stimuli.txt). Legen Sie diese Datei im entsprechenden Testverzeichnis (word_exp oder image_exp) ab.
2. Vermeiden Sie zusätzliche Leerzeilen sowie Leerzeichen in den Namen. Verwenden Sie camelCase oder snake_case für Stimulusnamen.
3. Erstellen Sie als Nächstes Testkonfigurationen. Öffnen Sie die Datei config.yaml im Analyseverzeichnis und setzen Sie den Wert des Parameters path_to_stimulus_list auf den Pfad zu stimuli.txt (erstellt in Schritt 3.1).
   1. Führen Sie das Skript im Verzeichnis similarities aus, indem Sie nacheinander die folgenden Befehle ausführen:
      cd ~/Ähnlichkeiten
      conda aktivieren venv_sim_3.8
      python -m analysis.trial_configuration
      Conda deaktivieren # Beenden Sie die virtuelle Umgebung
   2. Dadurch wird eine Datei mit dem Namen trial_conditions.csv in Ähnlichkeiten erstellt, in der jede Zeile die Namen der in einem Versuch erscheinenden Reize sowie ihre Positionen in der Anzeige enthält. Eine Musterdatei trial_conditions.csv wird zur Verfügung gestellt (Ähnlichkeiten/Probenmaterialien). Details zu den Eingabeparametern für die Analyseskripte finden Sie im Projekt README unter Verwendung.

Abbildung 1: Repräsentative Beispiele für Studien (Schritt 3.3). (A) Jede Zeile enthält die Einzelheiten eines einzigen Versuchs. Kopfzeilen zeigen die Position des Reizes um den Kreis an. Der Stimulus unter ref erscheint in der Mitte und stim 1 bis stim 8 erscheinen um die Referenz. (B) Der erste Versuch (Reihe) von A wird von PsychoPy durchgeführt, um die acht Reize um den Referenzreiz, den Affen, anzuzeigen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

HINWEIS: Zu diesem Zeitpunkt wurde ein vollständiger Satz von 222 Versuchen für einen vollständigen Versuchslauf, d.h. für einen vollständigen Datensatz, generiert. Abbildung 1A zeigt einen Teil einer Bedingungsdatei, die vom obigen Skript für das Wortexperiment generiert wurde (siehe Repräsentative Ergebnisse).

4. Als nächstes teilen Sie diese 222 Studien in Sitzungen auf und randomisieren Sie die Studienreihenfolge. Im typischen Design bestehen die Sitzungen aus 111 Versuchen, von denen jede etwa 1 Stunde dauert.
   1. Führen Sie dazu in der Befehlszeile Folgendes aus:
      conda aktivieren venv_sim_3.8
      cd ~/Ähnlichkeiten
      python -m analysis.randomize_session_trials
   2. Wenn Sie dazu aufgefordert werden, geben Sie die folgenden Eingabeparameter ein: Pfad zu trial_conditions.csv, der in Schritt 3.3.2 erstellt wurde; Ausgabeverzeichnis; Anzahl der Versuche pro Sitzung: 111; Anzahl der Wiederholungen: 5.
      HINWEIS: Die Anzahl der Wiederholungen kann ebenfalls variiert werden, wirkt sich jedoch auf die Anzahl der in Schritt 4 durchgeführten Sitzungen aus (siehe Diskussion: Experimentelles Paradigma). Wenn Sie den Standardwert der Anzahl der Wiederholungen ändern, müssen Sie den Wert des Parameters num_repeats in der Konfigurationsdatei (similarities/analysis/config.yaml) bearbeiten. Überprüfen Sie bei Bedarf die Schritt-für-Schritt-Anleitung, um die oben genannten Schritte manuell in der README-Datei unter dem Abschnitt Erstellen von Testversionen zu überprüfen.
5. Benennen Sie jede der generierten Dateien unter Bedingungen.csv in einem eigenen Verzeichnis um und speichern Sie sie. Die empfohlene Verzeichnisstruktur finden Sie hier: Ähnlichkeiten/Mustermaterialien/Themendaten und im Projekt README.
   HINWEIS: Wie in Schritt 4 beschrieben, wird jedes Experiment fünfmal im Standarddesign wiederholt, im Laufe von 10 Stunden langen Sitzungen, jeweils an einem separaten Tag. Die Probanden sollten gebeten werden, nur für eine Sitzung pro Tag zu kommen, um Müdigkeit zu vermeiden. Siehe Tabelle 1 für die Anzahl der Versuche und Sitzungen, die für Stimulus-Sets unterschiedlicher Größe benötigt werden.

4. Ausführen des Experiments und Sammeln von Ähnlichkeitsdaten

1. Erklären Sie den Probanden die Aufgabe und geben Sie ihnen Anweisungen. In jeder Studie sehen die Probanden einen zentralen Referenzreiz, der von acht Reizen umgeben ist, und werden gebeten, die Reize in der Umgebung in der Reihenfolge der Ähnlichkeit mit der zentralen Referenz zu klicken, d.h. sie sollten auf die ähnlichste erste und die am wenigsten ähnliche letzte klicken.
2. Bitten Sie sie, eine konsistente Strategie zu verwenden. Sagen Sie ihnen, dass ihnen im Laufe der 10 Sitzungen mehrmals die gleiche Konfiguration von Reizen gezeigt wird. Wenn die Studie die Darstellung semantischer Informationen untersucht, stellen Sie sicher, dass die Probanden mit den Reizen vertraut sind, bevor sie beginnen.
3. Navigieren Sie zum entsprechenden Testverzeichnis (siehe Schritt 2.1). Wenn dies das erste Mal ist, dass der Test ausgeführt wird, erstellen Sie ein Verzeichnis namens subject-data, um die Antworten des Subjekts zu speichern. Erstellen Sie darin zwei Unterverzeichnisse: unformatiert und vorverarbeitet. Erstellen Sie für jedes Subjekt ein Unterverzeichnis innerhalb von subject-data/raw.
4. Kopieren Sie die in Schritt 3 für die jeweilige Sitzung vorbereitete Datei conditions.csv und fügen Sie sie in das aktuelle Verzeichnis ein, d.h. in das Verzeichnis, das die psyexp-Datei enthält. Wenn dort bereits eine Datei mit dem Namen conditions.csv vorhanden ist, stellen Sie sicher, dass Sie sie durch die Datei für die aktuelle Sitzung ersetzen.
5. Öffnen Sie PsychoPy und öffnen Sie dann die psyexp- oder py-Datei im Verzeichnis des entsprechenden Experiments. Klicken Sie in PsychoPy auf die grüne Play-Schaltfläche , um das Experiment auszuführen. Geben Sie im modalen Popup-Fenster den Betreffnamen oder die ID und die Sitzungsnummer ein. Klicken Sie auf OK, um zu beginnen. Anweisungen werden zu Beginn jeder Sitzung angezeigt.
6. Lassen Sie dem Betreff ca. 1 Stunde Zeit, um die Aufgabe zu erledigen. Da die Aufgabe selbstgesteuert ist, ermutigen Sie die Probanden, bei Bedarf Pausen einzulegen. Wenn das Subjekt die Sitzung beendet, wird PsychoPy automatisch beendet und Dateien werden im Verzeichnis similarities/experiments/_exp/data generiert.
7. Übertragen Sie diese in das Verzeichnis subject-data/raw/ (erstellt in Schritt 4.3). Die empfohlene Verzeichnisstruktur finden Sie in der README-Datei.
   HINWEIS: Wie bereits erwähnt, dient die Protokolldatei zur Fehlerbehebung. Die häufigste Ursache für das unerwartete Schließen von PsychoPy ist, dass ein Proband während einer Sitzung versehentlich auf Escape drückt. In diesem Fall werden die Antworten für Studien bis zum letzten abgeschlossenen Versuch weiterhin in die Antwortdatei.csv Datei geschrieben.
8. Wenn PsychoPy unerwartet geschlossen wird, öffnen Sie es erneut und erstellen Sie eine neue Bedingungen.csv Datei mit nur den Studien, die nicht versucht wurden. Ersetzen Sie die Bedingungsdatei der vorhandenen Sitzung durch diese, und führen Sie den Test erneut aus. Stellen Sie sicher, dass Sie die generierten Dateien am entsprechenden Ort speichern. Am Ende der Sitzung können die beiden Antwortdateien manuell zu einer kombiniert werden, obwohl dies nicht erforderlich ist.
9. Wiederholen Sie für jede der verbleibenden Sitzungen die Schritte 4.4 bis 4.8.
10. Nachdem alle Sitzungen abgeschlossen sind, kombinieren Sie die Rohdatendateien und formatieren Sie sie zur weiteren Verarbeitung in einer einzigen JSON-Datei neu. Führen Sie dazu preprocess.py im Terminal (Ähnlichkeiten/Analyse/Vorprozess.py) wie folgt aus:
    cd ~/Ähnlichkeiten
    conda aktivieren venv_sim_3.8
    python -m analysis.preprocess
11. Wenn Sie dazu aufgefordert werden, geben Sie die angeforderten Eingabeparameter ein: den Pfad zum Subjektdatenverzeichnis, die Betreff-IDs, für die die Daten vorverarbeitet werden sollen, und den Versuchsnamen (der zum Benennen der Ausgabedatei verwendet wird). Drücken Sie die Eingabetaste.
12. Beenden Sie die virtuelle Umgebung:
    Conda deaktivieren
    HINWEIS: Dadurch wird eine JSON-Datei im Ausgabeverzeichnis erstellt, die Antworten über Wiederholungen hinweg für jede Testversion kombiniert. Ähnlichkeitsdaten werden aus Fachdaten/roh eingelesen und in Fachdaten geschrieben/vorverarbeitet.

5. Analyse von Ähnlichkeitsurteilen

HINWEIS: Die Probanden werden gebeten, auf Stimuli in der Reihenfolge ihrer Ähnlichkeit mit der Referenz zu klicken, wodurch eine Rangfolge in jeder Studie angegeben wird. Für Standardexperimente wiederholen Sie jeden Versuch fünfmal, wobei fünf Rangordnungen derselben acht Reize erzeugt werden (siehe Abbildung 2B). Diese Rangurteile werden als eine Reihe von Vergleichen interpretiert, in denen ein Subjekt Paare von Wahrnehmungsabständen vergleicht. Es wird davon ausgegangen, dass das Subjekt vor jedem Klick die folgende Frage stellt: "Ist der (Wahrnehmungs-)Abstand zwischen Referenz und Reiz A kleiner als der Abstand zwischen Referenz und Reiz B?" Wie in Abbildung 2C gezeigt, ergibt dies Auswahlwahrscheinlichkeiten für mehrere paarweise Ähnlichkeitsvergleiche für jede Studie. Die folgende Analyse verwendet diese Auswahlwahrscheinlichkeiten.

Abbildung 2: Abrufen von Auswahlwahrscheinlichkeiten aus Ranking-Urteilen. (A) Eine Illustration eines Versuchs aus dem von uns durchgeführten Wortexperiment. (B) Für dieselbe Prüfung wurden im Laufe mehrerer Sitzungen fünf Rangordnungen ermittelt. (C) Auswahlwahrscheinlichkeiten für die paarweisen Unähnlichkeitsvergleiche, die die Rangfolgeurteile darstellen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

1. Bestimmen Sie paarweise Auswahlwahrscheinlichkeiten aus Rangordnungsurteilen.
   1. Führen Sie unter Ähnlichkeiten/Analyse describe_data.py in der Befehlszeile aus.
      cd ~/Ähnlichkeiten
      conda aktivieren venv_sim_3.8
      python -m analysis.describe_data
   2. Wenn Sie dazu aufgefordert werden, geben Sie den Pfad zu subject-data/preprocessed und die Liste der Probanden ein, für die die Analyse durchgeführt werden soll.
      HINWEIS: Dadurch werden drei Arten von Diagrammen erstellt: i) die Verteilung der Auswahlwahrscheinlichkeiten für den vollständigen Datensatz eines bestimmten Subjekts, ii) Heatmaps zur Bewertung der Konsistenz zwischen Auswahlwahrscheinlichkeiten für Paare von Probanden und iii) eine Heatmap von Auswahlwahrscheinlichkeiten für alle Vergleiche, die in zwei Kontexten auftreten, um Kontexteffekte zu bewerten. Operativ bedeutet dies, Auswahlwahrscheinlichkeiten in Versuchspaaren zu vergleichen, die die gleiche Referenz und ein gemeinsames Reizpaar im Ring enthalten, sich aber in allen anderen Reizen im Ring unterscheiden: Die Heatmap zeigt, wie die Auswahlwahrscheinlichkeit von diesem Kontext abhängt.
2. Generieren Sie niedrigdimensionale euklidische Modelle der Wahrnehmungsräume unter Verwendung der Auswahlwahrscheinlichkeiten. Führen Sie model_fitting.py in der Befehlszeile wie folgt aus:
   cd ~/Ähnlichkeiten
   conda aktivieren venv_sim_3.8
   python -m analysis.model_fitting
   1. Geben Sie die folgenden Eingabeparameter an, wenn Sie dazu aufgefordert werden: Pfad zum Betreffdaten/vorverarbeiteten Verzeichnis; die Anzahl der Stimuli (standardmäßig 37); die Anzahl der Iterationen (die Häufigkeit, mit der die Modellierungsanalyse ausgeführt werden soll); das Ausgabeverzeichnis; und die Menge des Gaußschen Rauschens (standardmäßig 0,18).
      HINWEIS: Die Ausführung dieses Skripts dauert einige Stunden. Wenn Sie fertig sind, werden npy-Dateien mit den am besten geeigneten Koordinaten für 1D-, 2D-, 3D-, 4D- und 5D-Modelle, die die Ähnlichkeitsdaten beschreiben, in das Ausgabeverzeichnis geschrieben. Es wird eine CSV-Datei mit Log-Likelihood-Werten der verschiedenen Modelle generiert.
3. Visualisieren Sie die Log-Wahrscheinlichkeit der erhaltenen Modelle und bewerten Sie ihre Passung. Führen Sie dazu Ähnlichkeiten/Analysen/model_fitting_figure.py in der Befehlszeile aus:
   cd ~/Ähnlichkeiten
   python -m analysis.model_fitting_figure
   1. Wenn Sie dazu aufgefordert werden, geben Sie den gewünschten Parameter ein: den Pfad zu den CSV-Dateien, die Protokollwahrscheinlichkeiten enthalten (aus Schritt 5.2).
   2. Analysieren Sie die generierte Abbildung, zeigen Sie die Log-Wahrscheinlichkeiten auf der y-Achse und modellieren Sie die Bemaßungen auf der x-Achse. Als Vernunftprüfung sind neben den euklidischen Modellen zwei Modelle enthalten: ein Zufallswahlmodell und ein bestmögliches Modell.
      HINWEIS: Das Zufallsauswahlmodell geht davon aus, dass die Probanden zufällig klicken. Somit bietet es eine absolute Untergrenze für die Log-Wahrscheinlichkeit für jedes Modell, das besser als zufällig ist. In ähnlicher Weise gibt es als Obergrenze für die logarithmische Wahrscheinlichkeit (am besten gekennzeichnet) die logarithmische Wahrscheinlichkeit eines Modells, das die empirischen Auswahlwahrscheinlichkeiten als Modellwahrscheinlichkeiten verwendet.
   3. Stellen Sie sicher, dass kein euklidisches Modell das beste Modell übertrifft, da das beste Modell konstruktionsbedingt überangepasst und nicht durch geometrische Überlegungen eingeschränkt ist. Überprüfen Sie, ob die aufgetragenen Wahrscheinlichkeiten relativ zur besten logarithmischen Wahrscheinlichkeit sind.
4. Visualisieren Sie die Wahrnehmungsräume für jedes Motiv. Generieren Sie Streudiagramme, die die Punkte aus dem 5D-Modell zeigen, das auf die ersten beiden Hauptkomponenten projiziert wird. Führen Sie dazu Ähnlichkeiten/Analysen/perceptual_space_visualizations.py in der Befehlszeile aus:
   cd ~/Ähnlichkeiten
   python -m analysis.perceptual_space_visualizations
   1. Wenn Sie dazu aufgefordert werden, geben Sie die Parameter ein: die Betreff-IDs (getrennt durch Leerzeichen) und den Pfad zur npy-Datei, die die aus Schritt 5.2 erhaltenen 5D-Punkte enthält.
   2. Nachdem die Ausführung des Skripts abgeschlossen ist, beenden Sie die virtuelle Umgebung:
      Conda deaktivieren
      HINWEIS: Dieses Skript dient zur Visualisierung der Ähnlichkeitsurteile. Es wird ein 2D-Streudiagramm erstellt, indem die 5D-Punkte auf die ersten beiden Hauptkomponenten projiziert werden, die auf gleiche Varianz normiert sind. Zwei Punkte werden weiter auseinander liegen, wenn das Subjekt sie weniger ähnlich betrachtet und umgekehrt.

Ergebnisse

Abbildung 1A zeigt einen Teil einer Bedingungsdatei, die vom Skript in Schritt 3.3 für das Wortexperiment generiert wurde. Jede Zeile entspricht einer Studie. Der Stimulus in der ref-Spalte wird in der Mitte des Displays angezeigt. Die Spaltennamen stim1 bis stim8 entsprechen acht Positionen entlang eines Kreises, die gegen den Uhrzeigersinn verlaufen und von der Position rechts von der zentralen Referenz ausgehen. Eine Beispielstudie aus dem Wortexperiment ist in Abbil...

Diskussion

Das hier beschriebene Protokoll ist effektiv, um Ähnlichkeitsurteile für Reize zu erhalten und zu analysieren, die visuell dargestellt werden können. Zuerst werden das experimentelle Paradigma, die Analyse und mögliche Erweiterungen diskutiert, später die Vor- und Nachteile der Methode.

Experimentelles Paradigma: Die vorgeschlagene Methode wird anhand einer Domäne von 37 Tiernamen demonstriert, und es wird ein Beispieldatensatz mit Wahrnehmungsurteilen bereitgestellt, so...

Materialien

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.