Mappatura tridimensionale della rotazione di oggetti virtuali interattivi con dati di eye-tracking

Summary

Abbiamo sviluppato un metodo semplice, personalizzabile ed efficiente per registrare dati processuali quantitativi da attività spaziali interattive e mappare questi dati di rotazione con dati di tracciamento oculare.

Abstract

Presentiamo un metodo per la registrazione in tempo reale dell'interazione umana con oggetti virtuali tridimensionali (3D). L'approccio consiste nell'associare i dati di rotazione dell'oggetto manipolato a misure comportamentali, come l'eye tracking, per fare migliori inferenze sui processi cognitivi sottostanti.

Il compito consiste nel visualizzare due modelli identici dello stesso oggetto 3D (una molecola), presentati sullo schermo di un computer: un oggetto rotante interattivo (iObj) e un oggetto statico (tObj). I partecipanti devono ruotare iObj usando il mouse fino a considerare il suo orientamento identico a quello di tObj. Il computer tiene traccia di tutti i dati di interazione in tempo reale. Anche i dati dello sguardo del partecipante vengono registrati utilizzando un eye tracker. La frequenza di misurazione è di 10 Hz sul computer e di 60 Hz sull'eye tracker.

I dati di orientamento di iObj rispetto a tObj sono registrati nei quaternioni di rotazione. I dati dello sguardo sono sincronizzati con l'orientamento di iObj e referenziati utilizzando lo stesso sistema. Questo metodo ci permette di ottenere le seguenti visualizzazioni del processo di interazione umana con iObj e tObj: (1) disparità angolare sincronizzata con altri dati dipendenti dal tempo; (2) traiettoria di rotazione 3D all'interno di quella che abbiamo deciso di chiamare "palla di rotazioni"; (3) Mappa di calore della fissazione 3D. Tutti i passaggi del protocollo hanno utilizzato software libero, come GNU Octave e Jmol, e tutti gli script sono disponibili come materiale supplementare.

Con questo approccio, possiamo condurre studi quantitativi dettagliati del processo di risoluzione dei compiti che coinvolgono rotazioni mentali o fisiche, piuttosto che solo il risultato raggiunto. È possibile misurare con precisione l'importanza di ogni parte dei modelli 3D per il partecipante nella risoluzione dei compiti, e quindi mettere in relazione i modelli con variabili rilevanti come le caratteristiche degli oggetti, le capacità cognitive degli individui e le caratteristiche dell'interfaccia uomo-macchina.

Introduction

La rotazione mentale (MR) è un'abilità cognitiva che consente agli individui di manipolare e ruotare mentalmente gli oggetti, facilitando una migliore comprensione delle loro caratteristiche e delle relazioni spaziali. È una delle abilità visuospaziali, un gruppo cognitivo fondamentale che è stato studiato già nel 1890¹. Le abilità visuospaziali sono una componente importante del repertorio cognitivo di un individuo che è influenzato sia da fattori ereditari che ambientali 2,3,4,5. L'....

Protocol

1. Predisposizione degli strumenti di raccolta dati

1. Impostare la raccolta dei dati online (opzionale).
   NOTA: questo passaggio descrive come impostare un clone personalizzabile del codice del progetto e della pagina web di lavoro (fare riferimento a File supplementare 1). Questo passaggio è stato adattato dai tutorial disponibili in https://pages.github.com/ e https://github.com/jamiewilson/form-to-google-sheets. Se gli utenti sono interessa.......

Discussion

Come affermato in precedenza, questo articolo mira a presentare una procedura dettagliata di mappatura in tempo reale dei dati di fissazione e movimento saccadico su oggetti 3D interattivi, che è facilmente personalizzabile e utilizza solo software disponibili gratuitamente, fornendo istruzioni passo-passo per far funzionare tutto.

Sebbene questa configurazione sperimentale comportasse un'attività altamente interattiva, come lo spostamento di un oggetto 3D i.......

Materials

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.