Dreidimensionale Abbildung der Rotation interaktiver virtueller Objekte mit Eye-Tracking-Daten

Zusammenfassung

Wir haben eine einfache, anpassbare und effiziente Methode entwickelt, um quantitative Prozessdaten aus interaktiven räumlichen Aufgaben zu erfassen und diese Rotationsdaten mit Eye-Tracking-Daten abzubilden.

Zusammenfassung

Wir stellen eine Methode zur Echtzeitaufzeichnung menschlicher Interaktion mit dreidimensionalen (3D) virtuellen Objekten vor. Der Ansatz besteht darin, Rotationsdaten des manipulierten Objekts mit Verhaltensmaßstäben wie Eye-Tracking zu verknüpfen, um bessere Rückschlüsse auf die zugrunde liegenden kognitiven Prozesse zu ziehen.

Die Aufgabe besteht darin, zwei identische Modelle desselben 3D-Objekts (eines Moleküls) auf einem Computerbildschirm darzustellen: ein rotierendes, interaktives Objekt (iObj) und ein statisches Zielobjekt (tObj). Die Teilnehmer müssen iObj mit der Maus drehen, bis sie der Meinung sind, dass die Ausrichtung mit der von tObj identisch ist. Der Computer verfolgt alle Interaktionsdaten in Echtzeit. Auch die Blickdaten des Teilnehmers werden mit Hilfe eines Eyetrackers erfasst. Die Messfrequenz beträgt 10 Hz am Computer und 60 Hz am Eyetracker.

Die Orientierungsdaten von iObj in Bezug auf tObj werden in Rotationsquaternionen aufgezeichnet. Die Anvisiertdaten werden mit der Ausrichtung von iObj synchronisiert und mit demselben System referenziert. Diese Methode ermöglicht es uns, die folgenden Visualisierungen des menschlichen Interaktionsprozesses mit iObj und tObj zu erhalten: (1) Winkeldisparität, synchronisiert mit anderen zeitabhängigen Daten; (2) 3D-Rotationsbahn innerhalb dessen, was wir als "Ball der Rotationen" bezeichnen; (3) 3D-Fixierungs-Heatmap. Alle Schritte des Protokolls haben freie Software wie GNU Octave und Jmol verwendet, und alle Skripte stehen als ergänzendes Material zur Verfügung.

Mit diesem Ansatz können wir detaillierte quantitative Studien über den Prozess der Aufgabenlösung durchführen, der mentale oder physische Rotationen beinhaltet, und nicht nur über das erreichte Ergebnis. Es ist möglich, genau zu messen, wie wichtig jeder Teil der 3D-Modelle für den Teilnehmer bei der Lösung von Aufgaben ist, und so die Modelle mit relevanten Variablen wie den Eigenschaften der Objekte, den kognitiven Fähigkeiten der Individuen und den Eigenschaften der Mensch-Maschine-Schnittstelle in Beziehung zu setzen.

Einleitung

Mentale Rotation (MR) ist eine kognitive Fähigkeit, die es Individuen ermöglicht, Objekte mental zu manipulieren und zu drehen, was ein besseres Verständnis ihrer Merkmale und räumlichen Beziehungen ermöglicht. Es handelt sich um eine der visuell-räumlichen Fähigkeiten, einer grundlegenden kognitiven Gruppe, die bereits 1890 untersucht^wurde. Visuell-räumliche Fähigkeiten sind ein wichtiger Bestandteil des kognitiven Repertoires eines Individuums, das sowohl von vererbten als auch von Umweltfaktoren beeinflusst wird 2,3,4,5. Das Interesse an visuell-räumlichen Fähigkeiten hat im Laufe des 20. Jahrhunderts zugenommen, da sich die Beweise für ihre Bedeutung in Schlüsselfächern wie Alter⁶ und Entwicklung⁷, Leistung in Mathematik, Informatik, Naturwissenschaften und Technik (MINT)^8,9, Kreativität¹⁰ und evolutionäre Merkmale¹¹ häufen.

Die zeitgenössische Idee der MR leitet sich aus der Pionierarbeit von Shepard und Metzler (SM) aus dem Jahr 1971¹² ab. Sie entwickelten eine chronometrische Methode mit einer Reihe von "gleichen oder unterschiedlichen" Aufgaben, die zwei Projektionen abstrakter 3D-Objekte präsentierten, die nebeneinander angezeigt wurden. Die Teilnehmer mussten die Objekte mental um eine bestimmte Achse drehen und entscheiden, ob diese Projektionen das gleiche Objekt anders drehten oder unterschiedliche Objekte darstellten. Die Studie zeigte eine positive lineare Korrelation zwischen der Reaktionszeit (RT) und der Winkeldisparität (AD) zwischen Repräsentationen desselben Objekts. Diese Korrelation wird als Winkeldisparitätseffekt (ADE) bezeichnet. ADE wird als Verhaltensmanifestation der MR angesehen und wurde in mehreren einflussreichen nachfolgenden Studien auf diesem Gebiet allgegenwärtig 13,14,15,16,17,18,19,20,21,22,23,24,25. Die 3D-Objekte, die in der SM-Studie verwendet wurden, bestanden aus 10 zusammenhängenden Würfeln, die von dem Computergraphen-Pionier Michael Noll in den Bell Laboratories²⁶ erzeugt wurden. Sie werden als SM-Zahlen bezeichnet und sind in MRT-Studien weit verbreitet.

Zwei Fortschritte waren in Shepards und Metzlers bahnbrechender Arbeit von großer Bedeutung; erstens, unter Berücksichtigung der Beiträge auf dem Gebiet der MR-Bewertungen. Im Jahr 1978 entwickelten Vanderberg und Kuze²⁷ einen psychometrischen Bleistift-und-Papier-Test mit 20 Punkten, der auf SM-Zahlen "gleich oder unterschiedlich" basierte, der als mentaler Rotationstest (VKMRT) bekannt wurde. Jeder Testgegenstand stellt einen Zielreiz dar. Die Teilnehmer müssen unter vier Stimuli auswählen, welche das gleiche Objekt repräsentieren, das im Zielstimulus dargestellt wird, und welche nicht. VKMRT wurde verwendet, um die Korrelation zwischen MR-Fähigkeit und verschiedenen anderen Faktoren zu untersuchen, wie z.B. geschlechtsbezogene Unterschiede 6,21,24,28,29,30, Altern und Entwicklung ^6,31,32, akademische Leistung^8,33, und Fähigkeiten in Musik und Sport³⁴. 1995 veröffentlichten Peters et al. eine Studie mit neu gezeichneten Zahlen für die VKMRT^35,36. In ähnlicher Weise wurden nach dem "gleichen oder unterschiedlichen" Aufgabendesign eine Vielzahl anderer Bibliotheken computergenerierter Stimuli eingesetzt, um MR-Prozesse zu untersuchen und MR-Fähigkeiten zu bewerten (3D-Versionen der ursprünglichen SM-Stimuli 19,22,23,37,38, menschlicher Körper, der SM-Figuren^nachahmt 25,39,40, flache Polygone für die 2D-Rotation 41^{, 42}, Anatomie und Organe⁴³, organische Formen⁴⁴, Moleküle^45,46 u.a.²¹). Der von Guay 1976 vorgeschlagene Purdue Spatial Visualization Test (PSVT)⁴⁷ ist ebenfalls relevant. Es beinhaltet eine Reihe von Tests, einschließlich MR (PSVT:R). PSVT:R verwendet andere Stimuli als in der VKMRT und verlangt von den Teilnehmern, eine Rotationsoperation in einem Modellstimulus zu identifizieren und sie mental auf einen anderen anzuwenden. PSVT:R ist ebenfalls weit verbreitet, insbesondere in Studien, die die Rolle der MR bei der MINT-Leistung untersuchen 48,49,50.

Der zweite Fortschritt, der in der bahnbrechenden Arbeit von Shepard und Metzler von großer Bedeutung ist, umfasst die Beiträge zum Verständnis des MRT-Prozesses, insbesondere mit dem Einsatz von Eye-Tracking-Geräten. Im Jahr 1976 verwendeten Just und Carpenter¹⁴ analoge videobasierte Eye-Tracking-Geräte, um eine Studie durchzuführen, die auf dem ADE-Experiment von Shepard und Metzler basierte. Aus ihren Ergebnissen zu sakkadischen Augenbewegungen und RTs schlugen sie ein Modell von MRT-Prozessen vor, das aus drei Phasen besteht: 1) der Suchphase, in der ähnliche Teile der Figuren erkannt werden; 2) die Transformations- und Vergleichsphase, in der einer der identifizierten Teile gedanklich gedreht wird; 3) die Bestätigungsphase, in der entschieden wird, ob die Zahlen gleich sind oder nicht. Die Phasen werden rekursiv wiederholt, bis eine Entscheidung getroffen werden kann. Jeder Schritt entspricht spezifischen sakkadischen und fixativen Augenbewegungsmustern in enger Beziehung zu den beobachteten ADEs. Durch die Korrelation der Augenaktivität mit chronometrischen Daten lieferten Just und Carpenter eine kognitive Signatur für die Untersuchung von MR-Prozessen. Bisher wurde dieses Modell, wenn auch mit Anpassungen, in mehreren Studien übernommen 15,42,46,51,52,53.

Diesem Pfad folgend, wurden mehrere nachfolgende Studien zur Überwachung des Verhaltens 18,19,22,23,25,34,40,54,55 und der Gehirnaktivität 20,22,56,57 Funktionen während der Stimulirotation wurden durchgeführt. Ihre Ergebnisse deuten auf eine kooperative Rolle zwischen MR und motorischen Prozessen hin. Darüber hinaus besteht ein wachsendes Interesse an der Untersuchung von Problemlösungsstrategien mit MR in Bezug auf individuelle Unterschiede 15,41,46,51,58.

Insgesamt kann davon ausgegangen werden, dass das Design von Studien zum Verständnis von MRT-Prozessen darauf basiert, eine Aufgabe mit visuellen Reizen zu präsentieren, die die Teilnehmer auffordert, eine MRT-Operation durchzuführen, die wiederum eine motorische Reaktion nach sich zieht. Wenn diese Reaktion eine Rotation der Reize ermöglicht, wird sie oft als physikalische Rotation (PR) bezeichnet. Abhängig von den spezifischen Zielen der jeweiligen Studie wurden unterschiedliche Strategien und Geräte zur Datenerfassung und -analyse von MR und PR eingesetzt. Im Schritt der Präsentation von Aufgabenreizen ist es möglich, die Arten von Reizen zu ändern (d. h. die zuvor zitierten Beispiele); die Projektion (computergenerierte Bilder in herkömmlichen Displays 22,23,25,29,40,41,59 sowie in Stereoskopen¹⁹ und virtuellen⁶⁰ und gemischten⁴³ Realitätsumgebungen); und die Interaktivität der Reize (statische Bilder 12,27,36, Animationen ⁶¹ und interaktive virtuelle Objekte 19,22,23,43,53,59).

Die MR wird in der Regel aus Messungen der RTs (ADE) sowie der Augen- und Gehirnaktivität abgeleitet 25,46,62. Die Messung der Augenaktivität erfolgt anhand von Eye-Tracking-Daten, die aus sakkadischen Bewegungen und Fixationen 14,15,42,51,52,54,58,60 sowie Pupillometrie⁴⁰ bestehen. RT-Daten ergeben sich typischerweise aus Motorreaktionsdaten, die während der Betätigung verschiedener Geräte aufgezeichnet werden, wie z. B. Hebel¹³, Tasten und Schalter^{14, 53}, Pedale⁵³, Drehknöpfe¹⁹, Joysticks³⁷, Tastatur⁶¹ und Maus^{29, 58, 60} Antriebsräder⁵³, Inertialsensoren^22, 53^, Touchscreens^{52, 59}und Mikrofone²². Um die PR zu messen, wird das Studiendesign zusätzlich zu den RTs auch die Aufzeichnung manueller Rotationen interaktiver Stimuli umfassen, während die Teilnehmer die MR-Aufgabe 22,23,52,53 ausführen.

Im Jahr 1998 verwendeten Wohlschläger und Wohlschläger¹⁹ "gleiche oder verschiedene" Aufgaben mit interaktiven virtuellen SM-Stimuli, die mit einem Knopf manipuliert wurden, wobei die Rotationen auf eine Achse pro Aufgabe beschränkt waren. Sie maßen die RT und die kumulative Aufzeichnung der körperlichen Rotationen, die während der Aufgaben durchgeführt wurden. Durch den Vergleich von Situationen mit und ohne tatsächliche Rotation der interaktiven Stimuli kamen sie zu dem Schluss, dass MR und PR einen gemeinsamen Prozess sowohl für imaginierte als auch für tatsächlich durchgeführte Rotationen haben.

Im Jahr 2014 wurden zwei Studien durchgeführt, in denen die gleiche Art von Aufgaben mit virtuellen interaktiven Reizen verwendet^{wurden 22,23}. Die Objekte wurden jedoch mit Inertialsensoren manipuliert, die Bewegungen im 3D-Raum erfassten. In beiden Fällen wurden zusätzlich zu den RTs auch Rotationstrajektorien aufgezeichnet - die Entwicklung der Rotationsunterschiede zwischen Referenz- und interaktiven Stimuli während der Aufgaben. Aus diesen Trajektorien war es möglich, sowohl kumulative Informationen (d.h. die Gesamtzahl der Umdrehungen in quaternionischen Einheiten) als auch detaillierte Informationen über Lösungsstrategien zu extrahieren. Adams et ^al.23 untersuchten den kooperativen Effekt zwischen MR und PR. Zusätzlich zu den RTs verwendeten sie das Integral der Rotationstrajektorien als Parameter für die Genauigkeit und Objektivität der Auflösung. Die Interpretation der Kurvenprofile erfolgte nach einem dreistufigen Modell⁶³ (Planung, große Umdrehung, Feinjustierung). Die Ergebnisse deuten darauf hin, dass MR und PR nicht notwendigerweise einen einzigen, gemeinsamen Faktor haben. Gardony et ^al.22 sammelten Daten zu RT, Genauigkeit und Echtzeitrotation. Die Analyse der Rotationstrajektorien bestätigte nicht nur den Zusammenhang zwischen MR und PR, sondern zeigte auch, dass die Teilnehmer die Zahlen so lange manipulierten, bis sie erkennen konnten, ob sie unterschiedlich waren oder nicht. Wenn sie gleich waren, drehten die Teilnehmer sie, bis sie gleich aussahen.

Um diese Strategie fortzusetzen, setzten Wetzel und Bertel⁵² im Jahr 2018 auch interaktive SM-Figuren bei "gleichen oder unterschiedlichen" Aufgaben mit Touchscreen-Tablets als Schnittstelle ein. Darüber hinaus verwendeten sie ein Eye-Tracking-Gerät, um kumulative Daten zur Fixationszeit und zur sakkadischen Amplitude als Parameter der kognitiven Belastung bei der Lösung von MRT-Aufgaben zu erhalten. Die Autoren bestätigten die oben diskutierten Studien zu den Zusammenhängen zwischen MR und PR und den Aufgabenlösungsprozessen. In dieser Studie verwendeten sie jedoch keine Fixationskartierungs- und Sakkadendaten für die Stimuli.

Methodische Ansätze für die Kartierung von Eye-Tracking-Daten über virtuelle 3D-Objekte wurden vorgeschlagen und ständig verbessert, häufig von Forschern, die daran interessiert sind, die Faktoren im Zusammenhang mit der visuellen Aufmerksamkeit in virtuellen Umgebungen zu untersuchen⁶⁴. Obwohl diese Methoden erschwinglich sind und ähnliche Eye-Tracking-Geräte verwenden, wurden sie anscheinend nicht effektiv in das experimentelle Repertoire integriert, das in mentalen Rotationsstudien mit interaktiven 3D-Objekten wie den zuvor erwähnten verwendet wird. Umgekehrt fanden wir in der Literatur keine Studien, die über eine Echtzeit-Kartierung von Fixations- und Sakkadenbewegungsdaten auf interaktiven 3D-Objekten berichten. Es scheint keine bequeme Methode zu geben, um Augenaktivitätsdaten einfach in Rotationsverläufe zu integrieren. Mit dieser Forschung wollen wir dazu beitragen, diese Lücke zu schließen. Das Vorgehen wird von der Datenerfassung bis zur grafischen Ausgabegenerierung detailliert dargestellt.

In diesem Artikel beschreiben wir detailliert eine Methode zur Untersuchung mentaler Rotationsprozesse mit virtuellen interaktiven 3D-Objekten. Die folgenden Fortschritte sind hervorgehoben. Zunächst integriert es die quantitative verhaltensmotorische (handgesteuerte Objektdrehung über eine Computerschnittstelle) und die okuläre (Eye-Tracking) Datenerfassung während Interaktionssitzungen mit virtuellen 3D-Modellen. Zweitens werden nur herkömmliche Computergeräte und Eye-Tracking-Geräte für die Gestaltung visueller Aufgaben, die Datenerfassung, die Aufzeichnung und die Verarbeitung benötigt. Drittens generiert es auf einfache Weise eine grafische Ausgabe, um die Datenanalyse zu erleichtern - Winkeldisparität, physikalische Rotation, quaternionische Rotationstrajektorien und Hit-Mapping von Eye-Tracking-Daten über virtuelle 3D-Objekte. Schließlich erfordert die Methode nur freie Software. Alle entwickelten Codes und Skripte stehen kostenlos zur Verfügung (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protokoll

1. Vorbereitung von Datenerhebungsinstrumenten

1. Richten Sie die Online-Datenerfassung ein (optional).
   HINWEIS: In diesem Schritt wird beschrieben, wie Sie einen anpassbaren Klon des Projektcodes und der Arbeitswebseite einrichten (siehe Ergänzende Akte 1). Dieser Schritt wurde von den Tutorials übernommen, die unter https://pages.github.com/ und https://github.com/jamiewilson/form-to-google-sheets verfügbar sind. Wenn sich Nutzer nur für die Art der Datenverarbeitung und nicht für die Datenerfassung interessieren, können sie die Webseite https://rodrigocnstest.github.io/iRT_JoVE.html zusammen mitErgänzende Tabelle S1 und die Repository-Dateien unter https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave und überspringen Sie die Schritte 1.1, 1.2 und deren Unterschritte.
   1. Melden Sie sich bei GitHub (https://github.com/) an.
   2. Erstellen Sie einen öffentlichen Klon des ursprünglichen GitHub Pages-Repositorys.
      1. Klicken Sie auf Repository aus https://github.com importieren , während Sie im Konto angemeldet sind.
      2. Fügen Sie im Feld Klon-URL Ihres alten Repositorys die URL https://github.com/rodrigocns/rodrigocns_JoVE in das Feld Repository-Name ein, geben Sie username.github.io ein, wobei Benutzername der im Konto verwendete Benutzername ist, und stellen Sie sicher, dass die Option Öffentlich aktiviert ist. Klicken Sie dann auf die grüne Schaltfläche Import starten.
         HINWEIS: Das Repository enthält jetzt die meisten Dateien, die für den Rest dieses Setups benötigt werden, und alle Änderungen, die am Repository vorgenommen werden, werden nach einigen Minuten auf der Website aktualisiert. Zum Beispiel würde der Benutzer mit dem Namen rodrigocnstest auf seine eigene Seite unter https://rodrigocnstest.github.io und sein GitHub-Repository auf https://github.com/rodrigocnstest/rodrigocnstest.github.io zugreifen.
   3. Richten Sie eine Cloud-Tabelle ein, um die Testdaten online zu speichern.
      1. Registrieren Sie sich oder melden Sie sich in einem Google-Konto an.
      2. Während Sie in das Konto eingeloggt sind, gehen Sie zur sauberen Datei für iRT-Tabellenkalkulationen , die unter https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9 verfügbar ist.
         Ops1wZrXI/edit?usp=sharing.
      3. Klicken Sie in dieser Tabelle auf Datei | Erstellen Sie eine Kopie. Es erscheint ein kleines Bestätigungsfenster.
      4. Geben Sie in dem kleinen Fenster der Datei einen Namen und klicken Sie auf die Schaltfläche Kopie erstellen .
   4. Richten Sie ein Google Apps Script ein, um die Datenspeicherung in der von Ihnen erstellten Tabelle zu automatisieren.
      1. Klicken Sie in der Tabellenkalkulationsdatei auf die Option Erweiterung | Apps-Skript.
         HINWEIS: Dieses Skript muss in der Tabelle erstellt oder aufgerufen werden, damit es damit verknüpft ist. Der Versuch, ein Skript extern zu erstellen, funktioniert möglicherweise nicht.
      2. Klicken Sie auf die Schaltfläche Ausführen , um das Skript zum ersten Mal auszuführen.
      3. Klicken Sie auf die Schaltfläche Berechtigungen überprüfen . Ein neues Fenster wird angezeigt. Klicken Sie auf dasselbe Konto, das Sie bei der Erstellung der Tabelle verwendet haben.
         HINWEIS: Wenn Sie diesen Schritt zum ersten Mal ausführen, wird möglicherweise eine Sicherheitswarnung angezeigt, die den Benutzer warnt, wenn die App Zugriff auf Informationen aus dem Konto anfordert. Es ist sicher, da die App versucht, den Inhalt der Tabelle zu erreichen und um Erlaubnis bittet, sie mit Daten zu füllen. Wenn keine Warnungen angezeigt werden, kann Schritt 1.1.4.4 übersprungen werden.
      4. Klicken Sie auf Erweitert | Wechseln Sie zu Von iRT zu Blättern (unsicher) | Zulassen .
         HINWEIS: Nach der Ausführung sollte im Ausführungsprotokoll ein Hinweis angezeigt werden, dass die Ausführung abgeschlossen wurde.
      5. Klicken Sie im linken Schiebebereich auf die Schaltfläche Auslöser (das vierte Symbol von oben nach unten) | + Schaltfläche Auslöser hinzufügen .
      6. Wählen Sie unter Choose which function to running die Option doPost aus. Wählen Sie unter Ereignisquelle auswählen die Option Aus Tabelle aus. Wählen Sie unter Ereignistyp auswählen die Option Bei Formularübermittlung aus. Klicken Sie dann auf Speichern. Wenn Berechtigungs-Popups angezeigt werden, führen Sie die Schritte 1.1.4.3-1.1.4.4 aus. Wenn der Browser das Popup blockiert, heben Sie die Blockierung auf.
      7. Klicken Sie auf die Dropdown-Schaltfläche Bereitstellen | Neue Bereitstellung.
      8. Bewegen Sie den Mauszeiger über das Zahnradsymbol und vergewissern Sie sich, dass die Option Web-App ausgewählt ist.
      9. Geben Sie eine Beschreibung in das Feld Neue Beschreibung ein, z. B. Bereitstellung 1. Wählen Sie im Feld Wer hat Zugriff die Option Jeder aus und klicken Sie dann auf die Schaltfläche Bereitstellen .
         HINWEIS: Der Zweck des Felds Neue Beschreibung besteht darin, die Skriptbereitstellungen zu organisieren. Es kann nach Belieben des Lesers benannt werden, z. B. Erste Bereitstellung. Das Feld Ausführen als sollte bereits als Ich(E-Mail) angezeigt werden, wobei E-Mail die bisher verwendete E-Mail-Adresse ist.
      10. Kopieren Sie im neuen Popup die Web-App-URL der Skriptbereitstellung.
          HINWEIS: Wenn Sie aus irgendeinem Grund die kopierte Web-App-URL verlieren, rufen Sie sie ab, indem Sie auf das Dropdown-Menü Bereitstellen | Verwalten von Bereitstellungen. Die Web-App-URL sollte vorhanden sein.
      11. Rufen Sie die Seite bei https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js auf, auf der rodrigocnstest der Benutzername ist, der bei GitHub verwendet wird. Ersetzen Sie die vorhandene URL in Zeile 5 durch die kopierte Web-App-URL in Schritt 1.1.4.10, und klicken Sie auf die grüne Schaltfläche Änderungen übernehmen....
          HINWEIS: Der kopierte URL-Wert sollte zwischen einfachen ' ' oder doppelten " "' Anführungszeichen bleiben. Vergewissern Sie sich, dass die kopierte URL die richtige URL aus der Web-App ist.
      12. Klicken Sie abschließend auf die Schaltfläche Bestätigung von Änderungen übernehmen in der Mitte des Bildschirms.
   5. Stellen Sie sicher, dass der Vorgang korrekt abgeschlossen wurde und die Seite funktioniert.
      1. Wechseln Sie zum Repository unter https://github.com/username/username.github.io/, wobei username der bei GitHub verwendete Benutzername ist, und überprüfen Sie, ob die Bereitstellung nach den in Schritt 1.4.14 vorgenommenen Änderungen aktualisiert wurde.
      2. Navigieren Sie zu der Webseite unter https://username.github.io/iRT_JoVE, ändern Sie den Benutzernamen in den in GitHub verwendeten Benutzernamen, und klicken Sie dann auf Weiter.
      3. Klicken Sie auf Los, führen Sie eine beliebige Interaktion aus, indem Sie mit der Maus auf das Objekt auf der rechten Seite klicken und ziehen, und klicken Sie dann auf die Schaltfläche FERTIG!.
      4. Kehren Sie zu der Tabellenkalkulationsdatei zurück, die in den Schritten 1.1.3 und 1.1.4 konfiguriert wurde, und überprüfen Sie, ob bei jedem Drücken der Schaltfläche FERTIG eine neu hinzugefügte Datenzeile vorhanden ist.
2. Einrichten der Offline-Datenerfassung (optional).
   HINWEIS: Die Methode, die zum Ausführen und Abrufen der Daten der interaktiven Rotationsaufgabe (iRT) vorgesehen ist, ist online über die Cloud-Dienste, die in den oben beschriebenen Schritten konfiguriert wurden. Falls gewünscht (da die Internetverbindung ein Problem darstellen könnte oder um eine alternative Möglichkeit zu haben, sie durchzuführen), ist es auch möglich, den Test lokal mit oder ohne Internetverbindung an dem Ort durchzuführen, an dem der Test ausgeführt wird. Die folgenden Schritte sind eine optionale Alternative und beschreiben, wie dies erreicht werden kann. Andernfalls fahren Sie mit Schritt 1.3 fort.
   1. Greifen Sie unter dem folgenden Link auf das GitHub-Repository zu: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Klicken Sie auf den grünen Button < > Code | Laden Sie ZIP herunter und dekomprimieren Sie die heruntergeladenen Dateien.
      HINWEIS: Änderungen, die an den lokal gespeicherten Dateien vorgenommen werden, ändern die Dateien im Repository nicht und umgekehrt. Alle Änderungen, die für beide Versionen vorgesehen sind, sollten auf beide Speicherorte angewendet werden, entweder durch manuelles Kopieren der aktualisierten Dateien oder durch die Verwendung von git/GitHub desktop.
   2. Holen Sie sich die neueste Version von Mozilla Firefox über den Link: https://www.mozilla.org/en-US/firefox/new/.
   3. Öffnen Sie den Mozilla Firefox-Browser, geben Sie "about:config" in den URL-Slot ein, geben Sie "security.fileuri.strict_origin_policy" in das Suchfeld ein und ändern Sie den Wert in false. HINWEIS: Jetzt sollte Mozilla Firefox im Windows-Betriebssystem in der Lage sein, lokal auf die heruntergeladenen Webseitendateien auf Ihrem Computer zuzugreifen. Andere Browser und Betriebssysteme können so konfiguriert werden, dass sie lokal funktionieren, wobei jeder mit seiner eigenen Einrichtung ausgestattet ist, die unter dem Link http://wiki.jmol.org/index.php/Troubleshooting/Local_Files beschrieben ist.
3. Richten Sie das Datenverarbeitungstool ein.
   1. Laden Sie die neueste Version von GNU Octave unter https://octave.org/download herunter und installieren Sie sie.
4. Richten Sie das Eye-Tracking-Gerät ein.
   1. Stellen Sie sicher, dass die Software des Aufnahmesystems auf dem Laptop installiert ist.
   2. Stellen Sie sicher, dass der Forschungsraum sauber und gut organisiert ist, um Ablenkungen zu vermeiden.
   3. Verwenden Sie künstliche Beleuchtung im Raum, um den ganzen Tag über eine gleichmäßige Beleuchtung zu gewährleisten.
   4. Stellen Sie den Computer auf einen Tisch und stellen Sie sicher, dass der Teilnehmer die Maus bequem bewegen kann.
   5. Stellen Sie dem Teilnehmer einen bequemen Stuhl zur Verfügung, vorzugsweise einen festen Stuhl, um die Bewegung während des Tests zu minimieren.
   6. Schließen Sie ein USB-Kabel zur Stromversorgung der Infrarotbeleuchtung und ein weiteres USB-Kabel zwischen dem Laptop/Computer und dem Eyetracker für die Kamera an.
   7. Platzieren Sie den Eyetracker unterhalb des Bildschirms.

2. Datenerhebung

1. Initialisieren Sie die Datenerfassungssoftware.
   1. Führen Sie die Eye-Tracking-Software auf dem Computer aus, um Daten vom Eyetracker zu erhalten.
   2. Wählen Sie die Option Screen Capture im Hauptfenster der Software, um das Anvisieren während des Experiments zu erfassen (es ist auch möglich, diese Software für die Visualisierung von Heatmaps und den Export von Rohdaten zu verwenden).
   3. Klicken Sie auf Neues Projekt , um ein neues Projekt und einen neuen Projektordner zu erstellen, in dem die Daten gespeichert werden sollen.
   4. Öffnen Sie die Testseite bei https://rodrigocnstest.github.io/iRT_JoVE.html, wenn Sie die als Beispiel angebotene Seite oder die in Schritt 1.1 erstellte Seite verwenden. Alternativ können Sie die iRT_JoVE.html Datei lokal aus dem zuvor konfigurierten Browser in Schritt 1.2 öffnen.
   5. Füllen Sie bei Bedarf die Felder Name und E-Mail aus, um die Datenidentifizierung zu erleichtern, und aktivieren Sie das Kontrollkästchen, um eine Sicherungskopie der erstellten Daten herunterzuladen.
      HINWEIS: Wenn Sie die Offline-Methode (Schritt 1.2) verwenden, ist es ratsam, die Sicherungskopien herunterzuladen.
   6. Versuchen Sie, das Experiment einmal auszuführen, um sicherzustellen, dass der Browser die Elemente ordnungsgemäß lädt und keine Probleme mit den vorgestellten Aufgaben oder der Datenerfassung auftreten.
2. Führen Sie das Experiment aus.
   1. Erklären Sie dem Teilnehmer den Zweck des Experiments, die verwendete Technologie und die Ein-/Ausschlusskriterien. Stellen Sie sicher, dass der Teilnehmer alles verstanden hat. Lassen Sie den Teilnehmer das Einverständnisformular ausfüllen.
   2. Bitten Sie den Teilnehmer, sich vor das Eye-Tracking-System zu setzen und es sich so bequem wie möglich zu machen.
   3. Bewegen Sie den Stuhl, um einen optimalen Abstand zwischen dem Teilnehmer und der Kamera zu gewährleisten (die ideale Länge beträgt 65 cm vom Eyetracker bis zu den Augen des Teilnehmers).
   4. Bitten Sie den Teilnehmer, während des Experiments so ruhig wie möglich zu bleiben. Passen Sie die Höhe der Kamera an, um die Pupillen des Teilnehmers korrekt zu erfassen (einige Software hebt die Pupille hervor, um die Hornhautreflexion anzuzeigen).
   5. Klicken Sie auf Automatische Verstärkung aktivieren , um die Pupillenverfolgung zu optimieren, indem Sie die Kameraverstärkung ändern, bis die Pupillen gefunden werden (einige Software verfügt nicht über diese Option).
   6. Bitten Sie den Teilnehmer, auf eine Reihe von Punkten auf dem Bildschirm zu schauen und der Bewegung des Punktes zu folgen, ohne den Kopf zu bewegen.
   7. Klicken Sie auf Kalibrieren , um die Kalibrierung zu starten (dadurch wird sichergestellt, dass der Eyetracker verfolgen kann, wo der Teilnehmer auf den Bildschirm schaut).
      HINWEIS: Der Bildschirm wird leer und eine Kalibrierungsmarkierung (Punkt) bewegt sich durch fünf Positionen auf dem Bildschirm.
   8. Nach der Kalibrierung wird eine visuelle Point-of-Gaze-Schätzung auf dem Bildschirm gezeichnet, um die Kalibrierungsgenauigkeit zu überprüfen. Bitten Sie den Teilnehmer, auf einen bestimmten Punkt auf dem Display zu schauen, um zu sehen, ob der Blick korrekt angezeigt wird.
   9. Wenn die Kalibrierung nicht zufriedenstellend ist, stellen Sie die Kamera ein und wiederholen Sie die Kalibrierung, bis das System das Anvisieren ordnungsgemäß verfolgt.
   10. Klicken Sie auf die Schaltfläche Daten sammeln auf der rechten Seite der Eye-Tracking-Software (Hauptmenü), um den Datenerfassungsmodus zu aktivieren. Die Echtzeitanzeige des erfassten Bildschirms wird mit den im primären Anzeigefenster angezeigten Blickdaten angezeigt.
   11. Klicken Sie im Hauptmenü auf die Schaltfläche Video anvisieren , um das vom Eyetracker erfasste Gesicht des Benutzers anzuzeigen. Klicken Sie dann auf Aufzeichnung starten , um das Experiment zu starten.
       HINWEIS: Während des Experiments wird die Pupille des Teilnehmers hervorgehoben und sein Auge wird als Punkt angezeigt, der sich über den Laptop-Bildschirm bewegt. Stellen Sie sicher, dass der Eyetracker die Pupille und das Auge über den Bildschirm verfolgt.
   12. Wenn der Punkt verschwindet oder häufig flackert, stoppen Sie das Experiment und versuchen Sie erneut, es zu kalibrieren.
   13. Öffnen Sie das zuvor geöffnete iRT-Fenster und weisen Sie den Teilnehmer an, auf Weiter zu klicken.
   14. Geben Sie dem Teilnehmer die folgenden Anweisungen: "In diesem Abschnitt führen Sie drei Rotationsaufgaben aus. Wenn Sie auf die Schaltfläche GO! klicken, erscheinen zwei Objekte auf gegenüberliegenden Seiten des Bildschirms. Ihr Ziel ist es, das Objekt auf der rechten Seite so lange zu drehen, bis es dem Objekt auf der linken Seite so gut wie möglich entspricht. Um das Objekt zu drehen, klicken Sie darauf und ziehen Sie die Maus darüber. Wenn Sie jede der drei Aufgaben erledigt haben, klicken Sie auf die Schaltfläche FERTIG! zum Schluss klicken."
       HINWEIS: Bei jeder Aufgabe können alle iRT-Daten, die die 5-Minuten-Marke (genau 327^Sekunde ) überschreiten, verloren gehen. Im Zuge der Weiterentwicklung der Methode sollte diese Grenze erweitert werden.
   15. Stellen Sie am Ende des Experiments sicher, dass der Eyetracker vom Verlängerungskabel ausgeschaltet ist, und setzen Sie den Objektivdeckel wieder auf die Kamera.
3. Extrahieren Sie die Daten.
   1. Sobald die Datenerfassung durch den Eyetracker abgeschlossen ist, klicken Sie auf Daten analysieren , um auf die gesammelten Daten zuzugreifen.
   2. Exportieren Sie eine .csv Datei mit allen Daten, die für den Benutzer aufgezeichnet wurden.
      HINWEIS: Die erste Spalte der Eyetracker-Daten muss die UNIX-Epoche der Daten sein, da dies die einzige Möglichkeit ist, verschiedene Datensätze zeitlich korrekt abzugleichen. Wenn die Datei keinen enthält, sollte sie von einem anderen verwendeten Zeitstandard konvertiert werden. Die Datei kann im Format ".csv" oder ".xlsx" vorliegen.
   3. Wenn Sie die Online-Version der Seite mit interaktiven Rotationsaufgaben (Schritt 1.1) verwenden, öffnen Sie die Google Sheets-Datei, die zum Empfangen der Online-Daten verwendet wird (erstellt in Schritt 1.1.3), und laden Sie sie herunter, indem Sie auf Datei | Herunterladen | Microsoft Excel (.xlsx).
      HINWEIS: Diese Daten sind so verpackt, dass sie die Datenübertragung erleichtern (jede Aufgabe entspricht einer mit Daten gefüllten Zeile). Um die darin enthaltenen Daten zu verarbeiten, muss jede Zeile der verpackten Daten zuerst "entpackt" werden.

3. Datenverarbeitung und -analyse

1. Entpacken, zusammenführen und verarbeiten Sie die Daten.
   HINWEIS: In den folgenden Schritten wird beschrieben, wie die Daten mithilfe der bereitgestellten Skripts verarbeitet werden (siehe Zusatzdatei 2). Die GNU Octave-Skripte fordern den Benutzer auf, Eingaben zu seinen Dateien zu machen. Wenn die Eingaben leer gesendet werden, werden stattdessen die Standardwerte verwendet, die sich auf die bereitgestellten Beispieldaten beziehen, wenn sie von keinen Benutzerdaten überschrieben wurden. Nachdem die Ausführung des Skripts abgeschlossen ist, kann es geschlossen werden.
   1. Laden Sie das verwendete Repository herunter und dekomprimieren Sie es (das eigene Repository des Benutzers oder das Original auf https://github.com/rodrigocns/rodrigocns_JoVE), falls es noch nicht heruntergeladen wurde.
   2. Stellen Sie sicher, dass sich die Skripte 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D rotational trajectory.m und die Ordnermodelle im heruntergeladenen Repository im Ordner Octave befinden, und verschieben Sie die aus den Schritten 2.3.2 und 2.3.3 heruntergeladenen Datendateien in denselben Ordner, in dem sich die Octave-Skripte befinden.
      HINWEIS: Alle vorhandenen Dateien, die sich bereits im Ordner mit den gleichen Namen wie die neu geschriebenen Dateien befinden, können überschrieben werden. Benennen Sie die Dateien entsprechend um oder verschieben Sie sie in einen anderen Ordner.
   3. Öffnen Sie das Skript 1.unpacking_sheets.m mit dem GNU Octave Launcher. Führen Sie auf der Registerkarte Editor das Skript aus, indem Sie auf die grüne Schaltfläche Datei speichern und ausführen klicken, um die Daten in eine besser lesbare Struktur zu entpacken.
      HINWEIS: Wenn eine der angeforderten Datendateien lokal geöffnet ist, denken Sie daran, sie zu schließen, bevor Sie das Skript ausführen. Alle .m-Skriptdateien wurden mit dem GNU Octave Launcher ausgeführt.
   4. Es werden zwei Eingabeaufforderungen nacheinander angezeigt. Geben Sie den Namen der heruntergeladenen Datei in die erste Eingabeaufforderung und den Namen der entpackten Datei in das zweite Feld ein. Alternativ können Sie beide Eingabeaufforderungsfelder leer lassen, um die Standardnamen für die enthaltenen Beispieldateien zu verwenden. Warten Sie einige Minuten (abhängig vom Datenvolumen), bis ein Popup den Benutzer darüber informiert, dass der Vorgang abgeschlossen ist und die neue Datei geschrieben wurde.
   5. Öffnen Sie das Skript 2.data_merge_and_process.m, und führen Sie es aus, um die Daten von Eye Tracker und iRT zusammenzuführen.
      HINWEIS: Obwohl dieses Skript komplex ist und Hunderte von Codezeilen umfasst, ist es in drei Hauptabschnitte unterteilt: Einstellungen, Funktionen und Skripte. Alle werden ausführlich kommentiert und erläutert, um bei Bedarf zukünftige Änderungen zu erleichtern.
   6. Es werden vier Eingabeaufforderungen angezeigt. Geben Sie den sessionID-Wert, den taskID-Wert (beide aus der iRT-Datentabelle), den Dateinamen der entpackten iRT-Daten (geschrieben in Schritt 3.1.5) und den Namen der Eyetracker-Datendatei (exportiert in Schritt 2.3.2) ein oder lassen Sie alle leer, um die Standardwerte zu verwenden.
      HINWEIS: Nach einigen Minuten wird ein Hilfe-Popup angezeigt, das anzeigt, dass das Skript die Berechnung abgeschlossen hat, und die Namen der verwendeten und erstellten Dateien anzeigen. Während des Skriptvorgangs werden drei Beispieldiagramme der Winkeldisparität angezeigt: ein einfaches Diagramm, ein Diagramm mit farbigen Blickdaten und ein Diagramm mit Daten zum Pupillendurchmesser. Bei den beiden erstellten Dateien handelt es sich um die Ausgabe merge X Y.xlsx und die Ausgabe der jmol-Konsole X Y.xlsx, wobei X der sessionID-Wert und Y der taskID-Wert ist, die beide zu Beginn von Schritt 3.1.6 geschrieben wurden.
2. Rendern Sie 3D-Rotationstrajektorienbilder.
   1. Öffnen Sie das Skript, und führen Sie es 3.3D rotation trajectory.m aus.
   2. Es werden drei Eingabeaufforderungen angezeigt. Geben Sie den sessionID-Wert, den taskID-Wert und den Dateinamen der entpackten iRT-Daten ein oder lassen Sie sie leer, um die Standardwerte zu verwenden.
      HINWEIS: Es wird ein 3D-Diagramm angezeigt. Das gerenderte Diagramm ist die 3D-Rotationsbahn der angegebenen Sitzung und Aufgabe.
3. Wiederholen Sie die Animationen.
   1. Um die Aufgabeninteraktion des Teilnehmers wiederzugeben, gehen Sie zunächst zur Webseite mit der interaktiven Aufgabe, starten Sie den Test (mit beiden 3D-Modellen), bewegen Sie den Mauszeiger in der oberen rechten Ecke des Bildschirms, bis sich das Maussymbol in Text ändert, wie in der Zusatzdatei 2 dargestellt, und klicken Sie dann auf den unsichtbaren Debug-Text , um den Debug-Modus zu aktivieren.
   2. Klicken Sie in den Schaltflächen, die zwischen den Modellen angezeigt werden, auf die timerStop-Schaltfläche , um die Aufgabe zu unterbrechen, und klicken Sie auf die Konsolenschaltfläche , um die JSmol-Konsole des Modells auf der rechten Seite zu öffnen. Wenn die Aufgabe aus der interessierenden Interaktion nicht die erste war, klicken Sie auf die nummerierten Schaltflächen im oberen Debug-Bereich, um die Aufgabe zu ändern, die auf dem Bildschirm angezeigt wird.
      HINWEIS: JSmol ist die molekulare Modellierungssoftware, die auf der Webseite verwendet wird.
   3. Öffnen Sie die Datei output jmol console.xlsx und kopieren Sie die gesamte Seite der Jmol-Befehle.
      HINWEIS: Jede Seite enthält Befehle für eine andere Szene oder Animation.
   4. Fügen Sie in der JSmol-Konsole die Liste der kopierten Befehle ein und klicken Sie auf die Schaltfläche Ausführen oder drücken Sie die Eingabetaste auf der Tastatur, um sie auszuführen.
   5. Generieren Sie bei Bedarf eine .gif Animation. Schreiben Sie den Befehl capture "filename" SCRIPT "output" in die JSmol-Konsole, wobei filename der Name der .gif Datei ist, die erstellt werden soll, und output die gesamte Liste der in Schritt 3.3.3 kopierten Befehle, wobei beide in doppelten Anführungszeichen bleiben.
      HINWEIS: Je komplexer die Befehle werden, mit größeren Modellen oder mehr Zeitänderungen, und je weniger leistungsfähig die Spezifikationen des verwendeten Computers sind, desto langsamer wird die Animation. Jmol konzentriert sich auf die Visualisierung chemischer Verbindungen und Reaktionen, und die Art von Animationen, die mit unserer Forschung erstellt werden, verschiebt die Grenzen der Rendering-Fähigkeiten von Jmol. Diese Punkte sollten bei der Durchführung quantitativer Messungen mit dieser Animation berücksichtigt und berücksichtigt werden.

4. Anpassung der Aufgabe

HINWEIS: Dieser gesamte Abschnitt ist optional und wird nur für diejenigen empfohlen, die gerne experimentieren oder verstehen, wie man programmiert. Im Folgenden finden Sie einige der vielen anpassbaren Optionen, die verfügbar sind, und weitere Optionen werden verfügbar werden, wenn wir die Methoden weiterentwickeln.

1. Konfigurieren Sie neue oder vorhandene Aufgaben.
   1. Definieren Sie, wie viele interaktive Aufgaben der Teilnehmer ausführen soll, und benennen Sie sie in der Datei object_configs.js innerhalb des Arrays , task_list Sie die vorhandenen Elementnamen ersetzen oder weitere hinzufügen. Stellen Sie sicher, dass jeder Name eindeutig ist, da er später als Bezeichner verwendet wird.
   2. Wählen Sie JSmol-kompatible 3D-Koordinatendateien aus, um die interaktiven Aufgaben auszuführen (http://wiki.jmol.org/index.php/File_formats). Kopieren Sie diese Dateien in den Ordner models.
      HINWEIS: Die in diesem Artikel enthaltenen Skripts sind für asymmetrische Modelle optimiert, die das Dateiformat .xyz verwenden. Vermeiden Sie bei der Auswahl von Koordinatendateien Rotationssymmetrien, da sie mehrdeutige Lösungen^{aufweisen 65}.
   3. Definieren Sie die Rendering-Einstellungen für 3D-Objekte innerhalb der Funktion prepMolecule(num).
      HINWEIS: Alle Änderungen von einer Aufgabe zur nächsten, die von JSmol durchgeführt wird, finden Sie hier: Ändern des Farbmusters, Ändern der Größe oder der Art und Weise, wie grafische Elemente gerendert werden, Ausrichtung, Verschiebung, Ausblenden von Teilen des Objekts, Laden neuer 3D-Modelle usw. (weitere Beispiele finden Sie unter https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Jede Aufgabe, die in task_list benannt ist, entspricht einem Fall. Jeder Befehl, den JSmol ausführen soll, folgt der Struktur: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); Dabei bezieht sich jsmol_obj auf das Objekt, das geändert wird (jsmol_ref und jsmol_obj ist die Standardeinstellung für das Zielobjekt und das interaktive Objekt), gefolgt von einem oder mehreren Befehlen, die durch ein ";" getrennt sind.
2. Erstellen Sie neue Modelle.
   1. Verwenden Sie ein beliebiges .xyz-Modell, das online heruntergeladen oder von molekularen Editoren wie Avogadro (https://avogadro.cc/) erstellt wurde.

Ergebnisse

Entwicklung der Winkeldisparität und anderer Variablen
Wie in Schritt 3.3.1 in der Zusatzdatei 2 dargestellt, werden dem Teilnehmer auf dem Videomonitorbildschirm zwei Leinwände präsentiert, auf denen Kopien desselben virtuellen 3D-Objekts in unterschiedlichen Ausrichtungen angezeigt werden. Auf der linken Leinwand bleibt das Zielobjekt (tObj) statisch und dient als Zielposition oder tObj-Position. Auf der rechten Leinwand wird das...

Diskussion

Wie bereits erwähnt, zielt dieses Papier darauf ab, ein detailliertes Verfahren zur Echtzeit-Kartierung von Fixations- und Sakkadenbewegungsdaten auf interaktiven 3D-Objekten vorzustellen, das leicht anpassbar ist und nur kostenlos verfügbare Software verwendet und Schritt-für-Schritt-Anweisungen bietet, damit alles funktioniert.

Während dieser Versuchsaufbau eine hochgradig interaktive Aufgabe beinhaltete, wie z. B. das Verschieben eines 3D-Objekts, um di...

Materialien

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.