Dreidimensionale Abbildung der Rotation interaktiver virtueller Objekte mit Eye-Tracking-Daten

Zusammenfassung

Wir haben eine einfache, anpassbare und effiziente Methode entwickelt, um quantitative Prozessdaten aus interaktiven räumlichen Aufgaben zu erfassen und diese Rotationsdaten mit Eye-Tracking-Daten abzubilden.

Zusammenfassung

Wir stellen eine Methode zur Echtzeitaufzeichnung menschlicher Interaktion mit dreidimensionalen (3D) virtuellen Objekten vor. Der Ansatz besteht darin, Rotationsdaten des manipulierten Objekts mit Verhaltensmaßstäben wie Eye-Tracking zu verknüpfen, um bessere Rückschlüsse auf die zugrunde liegenden kognitiven Prozesse zu ziehen.

Die Aufgabe besteht darin, zwei identische Modelle desselben 3D-Objekts (eines Moleküls) auf einem Computerbildschirm darzustellen: ein rotierendes, interaktives Objekt (iObj) und ein statisches Zielobjekt (tObj). Die Teilnehmer müssen iObj mit der Maus drehen, bis sie der Meinung sind, dass die Ausrichtung mit der von tObj identisch ist. Der Computer verfolgt alle Interaktionsdaten in Echtzeit. Auch die Blickdaten des Teilnehmers werden mit Hilfe eines Eyetrackers erfasst. Die Messfrequenz beträgt 10 Hz am Computer und 60 Hz am Eyetracker.

Die Orientierungsdaten von iObj in Bezug auf tObj werden in Rotationsquaternionen aufgezeichnet. Die Anvisiertdaten werden mit der Ausrichtung von iObj synchronisiert und mit demselben System referenziert. Diese Methode ermöglicht es uns, die folgenden Visualisierungen des menschlichen Interaktionsprozesses mit iObj und tObj zu erhalten: (1) Winkeldisparität, synchronisiert mit anderen zeitabhängigen Daten; (2) 3D-Rotationsbahn innerhalb dessen, was wir als "Ball der Rotationen" bezeichnen; (3) 3D-Fixierungs-Heatmap. Alle Schritte des Protokolls haben freie Software wie GNU Octave und Jmol verwendet, und alle Skripte stehen als ergänzendes Material zur Verfügung.

Mit diesem Ansatz können wir detaillierte quantitative Studien über den Prozess der Aufgabenlösung durchführen, der mentale oder physische Rotationen beinhaltet, und nicht nur über das erreichte Ergebnis. Es ist möglich, genau zu messen, wie wichtig jeder Teil der 3D-Modelle für den Teilnehmer bei der Lösung von Aufgaben ist, und so die Modelle mit relevanten Variablen wie den Eigenschaften der Objekte, den kognitiven Fähigkeiten der Individuen und den Eigenschaften der Mensch-Maschine-Schnittstelle in Beziehung zu setzen.

Einleitung

Mentale Rotation (MR) ist eine kognitive Fähigkeit, die es Individuen ermöglicht, Objekte mental zu manipulieren und zu drehen, was ein besseres Verständnis ihrer Merkmale und räumlichen Beziehungen ermöglicht. Es handelt sich um eine der visuell-räumlichen Fähigkeiten, einer grundlegenden kognitiven Gruppe, die bereits 1890 untersucht^wurde. Visuell-räumliche Fähigkeiten sind ein wichtiger Bestandteil des kognitiven Repertoires eines Individuums, das sowohl von vererbten als auch von Umweltfaktoren beeinflusst wird 2,3,4,5.^<....

Protokoll

1. Vorbereitung von Datenerhebungsinstrumenten

1. Richten Sie die Online-Datenerfassung ein (optional).
   HINWEIS: In diesem Schritt wird beschrieben, wie Sie einen anpassbaren Klon des Projektcodes und der Arbeitswebseite einrichten (siehe Ergänzende Akte 1). Dieser Schritt wurde von den Tutorials übernommen, die unter https://pages.github.com/ und https://github.com/jamiewilson/form-to-google-sheets verfügbar sind. Wenn sich Nutzer nur für die Art der Datenverarbeitung und nicht für die Datenerfassung interessieren, können sie die Webseite https://rodrigocnstest.github.io/iRT_JoVE.html zusam....

Diskussion

Wie bereits erwähnt, zielt dieses Papier darauf ab, ein detailliertes Verfahren zur Echtzeit-Kartierung von Fixations- und Sakkadenbewegungsdaten auf interaktiven 3D-Objekten vorzustellen, das leicht anpassbar ist und nur kostenlos verfügbare Software verwendet und Schritt-für-Schritt-Anweisungen bietet, damit alles funktioniert.

Während dieser Versuchsaufbau eine hochgradig interaktive Aufgabe beinhaltete, wie z. B. das Verschieben eines 3D-Objekts, um di.......

Materialien

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.