Mappatura tridimensionale della rotazione di oggetti virtuali interattivi con dati di eye-tracking

Riepilogo

Abbiamo sviluppato un metodo semplice, personalizzabile ed efficiente per registrare dati processuali quantitativi da attività spaziali interattive e mappare questi dati di rotazione con dati di tracciamento oculare.

Abstract

Presentiamo un metodo per la registrazione in tempo reale dell'interazione umana con oggetti virtuali tridimensionali (3D). L'approccio consiste nell'associare i dati di rotazione dell'oggetto manipolato a misure comportamentali, come l'eye tracking, per fare migliori inferenze sui processi cognitivi sottostanti.

Il compito consiste nel visualizzare due modelli identici dello stesso oggetto 3D (una molecola), presentati sullo schermo di un computer: un oggetto rotante interattivo (iObj) e un oggetto statico (tObj). I partecipanti devono ruotare iObj usando il mouse fino a considerare il suo orientamento identico a quello di tObj. Il computer tiene traccia di tutti i dati di interazione in tempo reale. Anche i dati dello sguardo del partecipante vengono registrati utilizzando un eye tracker. La frequenza di misurazione è di 10 Hz sul computer e di 60 Hz sull'eye tracker.

I dati di orientamento di iObj rispetto a tObj sono registrati nei quaternioni di rotazione. I dati dello sguardo sono sincronizzati con l'orientamento di iObj e referenziati utilizzando lo stesso sistema. Questo metodo ci permette di ottenere le seguenti visualizzazioni del processo di interazione umana con iObj e tObj: (1) disparità angolare sincronizzata con altri dati dipendenti dal tempo; (2) traiettoria di rotazione 3D all'interno di quella che abbiamo deciso di chiamare "palla di rotazioni"; (3) Mappa di calore della fissazione 3D. Tutti i passaggi del protocollo hanno utilizzato software libero, come GNU Octave e Jmol, e tutti gli script sono disponibili come materiale supplementare.

Con questo approccio, possiamo condurre studi quantitativi dettagliati del processo di risoluzione dei compiti che coinvolgono rotazioni mentali o fisiche, piuttosto che solo il risultato raggiunto. È possibile misurare con precisione l'importanza di ogni parte dei modelli 3D per il partecipante nella risoluzione dei compiti, e quindi mettere in relazione i modelli con variabili rilevanti come le caratteristiche degli oggetti, le capacità cognitive degli individui e le caratteristiche dell'interfaccia uomo-macchina.

Introduzione

La rotazione mentale (MR) è un'abilità cognitiva che consente agli individui di manipolare e ruotare mentalmente gli oggetti, facilitando una migliore comprensione delle loro caratteristiche e delle relazioni spaziali. È una delle abilità visuospaziali, un gruppo cognitivo fondamentale che è stato studiato già nel 1890¹. Le abilità visuospaziali sono una componente importante del repertorio cognitivo di un individuo che è influenzato sia da fattori ereditari che ambientali 2,3,4,5. L'interesse per le abilità visuospaziali è cresciuto nel corso del ventesimo secolo a causa delle crescenti prove della loro importanza in materie chiave^{come l'invecchiamento} 6 e lo sviluppo⁷, le prestazioni in scienza, tecnologia, ingegneria e matematica (STEM) ^8,9, la creatività¹⁰ e i tratti evolutivi¹¹.

L'idea contemporanea di MR deriva dal lavoro pionieristico pubblicato da Shepard e Metzler (SM) nel 1971¹². Hanno ideato un metodo cronometrico utilizzando una serie di compiti "uguali o diversi", presentando due proiezioni di oggetti 3D astratti visualizzati fianco a fianco. I partecipanti dovevano ruotare mentalmente gli oggetti su un asse e decidere se quelle proiezioni ritraevano lo stesso oggetto ruotato in modo diverso o oggetti distinti. Lo studio ha rivelato una correlazione lineare positiva tra il tempo di risposta (RT) e la disparità angolare (AD) tra le rappresentazioni dello stesso oggetto. Questa correlazione è nota come effetto di disparità angolare (ADE). L'ADE è considerata una manifestazione comportamentale della MR ed è diventata onnipresente in diversi studi successivi influenti nel campo 13,14,15,16,17,18,19,20,21,22,23,24,25. Gli oggetti 3D impiegati nello studio SM erano composti da 10 cubi contigui generati dal pioniere della grafica computerizzata Michael Noll presso i Bell Laboratories²⁶. Sono indicati come figure SM e sono ampiamente utilizzati negli studi RM.

Due progressi sono stati di grande importanza nel lavoro seminale di Shepard e Metzler; in primo luogo, considerando i contributi nel campo delle valutazioni RM. Nel 1978, Vanderberg e Kuze²⁷ svilupparono un test psicometrico di 20 item basato su cifre SM "uguali o diverse" che divenne noto come test di rotazione mentale (VKMRT). Ogni elemento del test presenta uno stimolo target. I partecipanti devono scegliere tra quattro stimoli, quali rappresentano lo stesso oggetto raffigurato nello stimolo target e quali no. VKMRT è stato utilizzato per studiare la correlazione tra la capacità di RM e vari altri fattori, come le differenze legate al sesso 6,21,24,28,29,30, l'invecchiamento e lo sviluppo ^6,31,32, il rendimento scolastico^8,33, e abilità nella musica e nello sport³⁴. Nel 1995, Peters et al. hanno pubblicato uno studio con cifre ridisegnate per il VKMRT^35,36. Allo stesso modo, seguendo la progettazione del compito "uguale o diverso", una varietà di altre librerie di stimoli generati al computer sono state impiegate per studiare i processi RM e per valutare le capacità di RM (versioni 3D degli stimoli SM originali 19,22,23,37,38, corpo umano che imita le figure SM 25,39,40, poligoni piatti per la rotazione ^{2D 41, 42}, anatomia e organi⁴³, forme organiche⁴⁴, molecole^45,46, tra gli altri²¹). Anche il Purdue Spatial Visualization Test (PSVT) proposto da Guay nel 1976-47 è rilevante. Comporta una serie di test, tra cui la risonanza magnetica (PSVT:R). Impiegando stimoli diversi da quelli della VKMRT, PSVT:R richiede ai partecipanti di identificare un'operazione di rotazione in uno stimolo modello e di applicarla mentalmente a uno diverso. Anche PSVT:R è ampiamente utilizzato, in particolare negli studi che indagano il ruolo della risonanza magnetica nel raggiungimento STEM 48,49,50.

Il secondo progresso di grande importanza nel lavoro seminale di Shepard e Metzler comprende i contributi alla comprensione del processo RM, in particolare, con l'uso di dispositivi di tracciamento oculare. Nel 1976, Just e Carpenter¹⁴ utilizzarono apparecchiature di tracciamento oculare analogiche basate su video per condurre uno studio basato sull'esperimento ADE di Shepard e Metzler. Dai loro risultati sui movimenti oculari saccadici e sui RT, hanno proposto un modello di processi RM costituito da tre fasi: 1) la fase di ricerca, in cui vengono riconosciute parti simili delle figure; 2) la fase di trasformazione e confronto, in cui una delle parti identificate viene ruotata mentalmente; 3) la fase di conferma, in cui si decide se le cifre sono uguali o meno. Le fasi vengono ripetute in modo ricorsivo fino a quando non è possibile prendere una decisione. Ogni passaggio corrisponde a specifici modelli di movimento oculare saccadico e fissazionale in stretta relazione con gli ADE osservati. Così, correlando l'attività oculare ai dati cronometrici, Just e Carpenter hanno fornito una firma cognitiva per lo studio dei processi RM. Ad oggi questo modello, seppur con adattamenti, è stato adottato in diversi studi 15,42,46,51,52,53.

Seguendo questa traccia, diversi studi successivi hanno monitorato il comportamento 18,19,22,23,25,34,40,54,55 e l'attività cerebrale 20,22,56,57 funzioni durante la rotazione degli stimoli. I loro risultati indicano un ruolo cooperativo tra la risonanza magnetica e i processi motori. Inoltre, c'è un crescente interesse nello studio di strategie di risoluzione dei problemi che coinvolgono la MR in relazione alle differenze individuali 15,41,46,51,58.

Nel complesso, si può considerare che il disegno degli studi volti a comprendere i processi di RM si basa sulla presentazione di un compito con stimoli visivi che richiede ai partecipanti di eseguire un'operazione di RM che, a sua volta, comporta una reazione motoria. Se questa reazione consente la rotazione degli stimoli, viene spesso chiamata rotazione fisica (PR). A seconda degli obiettivi specifici di ogni studio, sono state impiegate diverse strategie e dispositivi per l'acquisizione e l'analisi dei dati di RM e PR. Nella fase di presentazione dello stimolo del compito, è possibile modificare i tipi di stimoli (ad esempio, gli esempi citati in precedenza); la proiezione (immagini generate al computer nei display tradizionali 22,23,25,29,40,41,59, nonché negli stereoscopi¹⁹ e negli ambienti di realtà virtuale⁶⁰ e mista ⁴³); e l'interattività degli stimoli (immagini statiche 12,27,36, animazioni ⁶¹ e oggetti virtuali interattivi 19,22,23,43,53,59).

La RM è solitamente dedotta dalle misure di RT (ADE), nonché dall'attività oculare e cerebrale 25,46,62. L'attività oculare viene misurata utilizzando i dati di tracciamento oculare costituiti da movimenti e fissazioni saccadiche 14,15,42,51,52,54,58,60, nonché la pupillometria 40. I dati RT derivano tipicamente dai dati di risposta del motore registrati durante il funzionamento di vari dispositivi come leve¹³, pulsanti e interruttori^14,53, pedali⁵³, manopole rotanti¹⁹, joystick³⁷, tastiera⁶¹ e mouse 29,58,60, ruote motrici ⁵³, sensori inerziali^22,23, touch screen^52,59e microfoni²². Per misurare il PR, oltre ai RT, il disegno dello studio includerà anche la registrazione di rotazioni manuali di stimoli interattivi mentre i partecipanti eseguono il compito RM 22,23,52,53.

Nel 1998, Wohlschläger e Wohlschläger¹⁹ utilizzarono compiti "uguali o diversi" con stimoli SM virtuali interattivi manipolati con una manopola, con rotazioni limitate a un asse per compito. Hanno misurato la RT e la registrazione cumulativa delle rotazioni fisiche eseguite durante le attività. Confrontando situazioni con e senza rotazione effettiva degli stimoli interattivi, hanno concluso che MR e PR condividono un processo comune sia per le rotazioni immaginate che per quelle effettivamente eseguite.

Nel 2014 sono stati condotti due studi che impiegano lo stesso tipo di compiti con stimoli interattivi virtuali^22,23. Tuttavia, gli oggetti sono stati manipolati con sensori inerziali che hanno catturato il movimento nello spazio 3D. In entrambi i casi, oltre agli RT, sono state registrate le traiettorie di rotazione, ovvero l'evoluzione delle differenze di rotazione tra stimoli di riferimento e interattivi durante i compiti. Da queste traiettorie è stato possibile estrarre sia informazioni cumulative (cioè il numero totale di rotazioni, in unità quaternioniche) sia informazioni dettagliate sulle strategie di soluzione. Adams et ^al.23 hanno studiato l'effetto cooperativo tra MR e PR. Oltre agli RT, hanno utilizzato l'integrale delle traiettorie di rotazione come parametro di precisione e oggettività della risoluzione. I profili curvi sono stati interpretati secondo un modello⁶³ a tre fasi (pianificazione, rotazione maggiore, regolazione fine). I risultati indicano che la RM e la PR non hanno necessariamente un singolo fattore comune. Gardony et ^al.22 hanno raccolto dati su RT, accuratezza e rotazione in tempo reale. Oltre a confermare la relazione tra RM e PR, l'analisi delle traiettorie di rotazione ha rivelato che i partecipanti hanno manipolato le cifre fino a quando non sono riuscite a identificare se erano diverse o meno. Se erano gli stessi, i partecipanti li ruotavano fino a quando non sembravano uguali.

Continuando questa strategia, nel 2018, Wetzel e Bertel⁵² hanno utilizzato anche figure SM interattive in attività "uguali o diverse" utilizzando tablet touchscreen come interfaccia. Inoltre, hanno utilizzato un dispositivo di tracciamento oculare per ottenere dati cumulativi sul tempo di fissazione e sull'ampiezza saccadica come parametri del carico cognitivo coinvolto nella risoluzione dei compiti di risonanza magnetica. Gli autori hanno confermato gli studi precedenti discussi sopra riguardo alle relazioni tra MR e PR e ai processi di risoluzione dei compiti. Tuttavia, in questo studio, non hanno utilizzato la mappatura della fissazione e i dati delle saccadi per gli stimoli.

Approcci metodologici per la mappatura dei dati di eye-tracking su oggetti virtuali 3D sono stati proposti e costantemente migliorati, comunemente da ricercatori interessati a studiare i fattori legati all'attenzione visiva negli ambienti virtuali⁶⁴. Sebbene convenienti e utilizzando dispositivi di tracciamento oculare simili, a quanto pare, questi metodi non sono stati efficacemente integrati nel repertorio sperimentale impiegato negli studi di rotazione mentale con oggetti 3D interattivi come quelli precedentemente menzionati. Al contrario, non abbiamo trovato studi in letteratura che riportino la mappatura in tempo reale dei dati di fissazione e movimento saccadico su oggetti 3D interattivi. Sembra che non ci sia un metodo conveniente per integrare facilmente i dati sull'attività oculare con le traiettorie di rotazione. In questa ricerca, miriamo a contribuire a colmare questa lacuna. La procedura è presentata in dettaglio, dall'acquisizione dei dati alla generazione dell'output grafico.

In questo articolo, descriviamo in dettaglio un metodo per studiare i processi di rotazione mentale con oggetti 3D interattivi virtuali. Vengono evidenziati i seguenti progressi. In primo luogo, integra la raccolta di dati quantitativi comportamentali motori (rotazione manuale di oggetti tramite un'interfaccia computer) e oculari (eye-tracking) durante le sessioni di interazione con modelli virtuali 3D. In secondo luogo, richiede solo apparecchiature informatiche convenzionali e dispositivi di tracciamento oculare per la progettazione di attività visive, l'acquisizione, la registrazione e l'elaborazione dei dati. In terzo luogo, genera facilmente un output grafico per facilitare l'analisi dei dati: disparità angolare, rotazione fisica, traiettorie di rotazione quaternionica e mappatura dei risultati dei dati di tracciamento oculare su oggetti virtuali 3D. Infine, il metodo richiede solo software libero. Tutto il codice e gli script sviluppati sono disponibili gratuitamente (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocollo

1. Predisposizione degli strumenti di raccolta dati

1. Impostare la raccolta dei dati online (opzionale).
   NOTA: questo passaggio descrive come impostare un clone personalizzabile del codice del progetto e della pagina web di lavoro (fare riferimento a File supplementare 1). Questo passaggio è stato adattato dai tutorial disponibili in https://pages.github.com/ e https://github.com/jamiewilson/form-to-google-sheets. Se gli utenti sono interessati solo al metodo di trattamento dei dati e non alla registrazione dei dati, possono utilizzare il sito web https://rodrigocnstest.github.io/iRT_JoVE.html, insieme aTabella supplementare S1 e i file del repository in https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave e saltare i passaggi 1.1, 1.2 e i relativi passaggi secondari.
   1. Accedere a GitHub (https://github.com/).
   2. Crea un clone pubblico del repository di pagine GitHub originale.
      1. Fare clic su Importa repository da https://github.com dopo aver effettuato l'accesso all'account.
      2. Nel campo URL clone del vecchio repository , incolla l'URL https://github.com/rodrigocns/rodrigocns_JoVE nel campo Nome repository , digita username.github.io, dove username è il nome utente utilizzato nell'account e assicurati che l'opzione Pubblico sia abilitata. Quindi, fai clic sul pulsante verde Inizia l'importazione.
         NOTA: Il repository ora contiene la maggior parte dei file necessari per il resto di questa configurazione e qualsiasi modifica apportata al repository verrà aggiornata sul sito Web dopo un paio di minuti. Ad esempio, l'utente denominato rodrigocnstest accederebbe alla propria pagina all'indirizzo https://rodrigocnstest.github.io e al proprio repository GitHub all'indirizzo https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Configura un foglio di calcolo cloud per archiviare i dati dell'esperimento online.
      1. Registrati o accedi a un account Google.
      2. Dopo aver effettuato l'accesso all'account, vai al file di pulizia dei fogli di calcolo iRT disponibile all'https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=condivisione.
      3. All'interno di questo foglio di calcolo, fai clic su File | Fai una copia. Apparirà una piccola finestra di conferma.
      4. All'interno della piccola finestra, assegna un nome al file e fai clic sul pulsante Crea una copia .
   4. Configura uno script di Google Apps per automatizzare l'archiviazione dei dati all'interno del foglio di lavoro che hai creato.
      1. All'interno del file del foglio di calcolo, fai clic sull'opzione Estensione | Script delle app.
         NOTA: questo script deve essere creato o accessibile dall'interno del foglio di calcolo in modo che sia associato ad esso. Il tentativo di creare uno script esternamente potrebbe non funzionare.
      2. Fare clic sul pulsante Esegui per eseguire lo script per la prima volta.
      3. Fare clic sul pulsante Rivedi autorizzazioni . Apparirà una nuova finestra. Fai clic sullo stesso account utilizzato durante la creazione del foglio di calcolo.
         NOTA: se è la prima volta che si esegue questo passaggio, potrebbe essere visualizzato un avviso di sicurezza che avverte l'utente della richiesta di accesso alle informazioni dell'account da parte dell'app. È sicuro in quanto l'app sta cercando di raggiungere il contenuto del foglio di calcolo e chiede il permesso di riempirlo con i dati. Se non viene visualizzato alcun avviso, il passaggio 1.1.4.4 può essere saltato.
      4. Fare clic su Avanzate | Vai a Da iRT a fogli (non sicuro) | Pulsante Consenti .
         NOTA: Dopo l'esecuzione, all'interno del registro di esecuzione dovrebbe apparire un avviso che indica che l'esecuzione è stata completata.
      5. Nel pannello scorrevole a sinistra, fai clic sul pulsante Trigger (la quarta icona dall'alto verso il basso) | + Aggiungi pulsante Trigger .
      6. In Scegli la funzione da eseguire, scegli doPost; in Seleziona origine evento, seleziona Da foglio di calcolo; In Seleziona tipo di evento, scegli All'invio del modulo. Quindi, fai clic su Salva. Se vengono visualizzati popup di autorizzazione, seguire i passaggi 1.1.4.3-1.1.4.4. Se il browser finisce per bloccare il popup, sbloccalo.
      7. Fare clic sul pulsante a discesa Distribuisci | Nuova distribuzione.
      8. Passa il mouse sull'icona a forma di ingranaggio e assicurati che l'opzione App Web sia selezionata.
      9. Scrivere una descrizione nel campo Nuova descrizione , ad esempio Distribuzione 1; nel campo Chi ha accesso , seleziona Chiunque , quindi fai clic sul pulsante Distribuisci .
         NOTA: lo scopo del campo Nuova descrizione è quello di organizzare le distribuzioni degli script. Può essere denominato come desidera il lettore, ad esempio Prima distribuzione. Il campo Esegui come dovrebbe essere già visualizzato come Io(email), dove email è l'email utilizzata fino a quel momento.
      10. All'interno del nuovo popup copiare l'URL dell'app Web della distribuzione dello script.
          NOTA: se per qualche motivo si finisce per perdere l'URL dell'app Web copiata, recuperarlo facendo clic sul menu a discesa Distribuisci | Gestire le distribuzioni. L'URL dell'app Web dovrebbe essere presente.
      11. Vai alla pagina all'https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js dove rodrigocnstest è il nome utente utilizzato su GitHub. Sostituire l'URL esistente nella riga 5 per l'URL dell'app Web copiato nel passaggio 1.1.4.10 e fare clic sul pulsante verde Conferma modifiche....
          NOTA: il valore dell'URL copiato deve rimanere tra virgolette singole ' ' o doppie " "'. Verifica che l'URL copiato sia quello corretto dall'app Web.
      12. Infine, fai clic sul pulsante di conferma Conferma modifiche al centro dello schermo.
   5. Assicurati che il processo sia stato completato correttamente e che la pagina funzioni.
      1. Vai al repository in https://github.com/username/username.github.io/, dove username è il nome utente utilizzato in GitHub, e controlla se la distribuzione è stata aggiornata dopo le modifiche apportate nel passaggio 1.4.14.
      2. Passare alla pagina Web all'indirizzo https://username.github.io/iRT_JoVE, modificare il nome utente con il nome utente utilizzato in GitHub e quindi fare clic su Avanti.
      3. Fare clic su Vai, effettuare qualsiasi interazione facendo clic e trascinando l'oggetto a destra con il mouse, quindi fare clic sul pulsante FATTO! .
      4. Torna al file del foglio di calcolo configurato nei passaggi 1.1.3 e 1.1.4 e verifica la presenza di una nuova riga di dati aggiunta per ogni volta che è stato premuto il pulsante DONE .
2. Configurare l'acquisizione dati offline (opzionale).
   NOTA: il metodo destinato all'esecuzione e all'acquisizione dei dati dell'attività di rotazione interattiva (iRT) è online tramite i servizi cloud configurati nei passaggi descritti in precedenza. Se lo si desidera (poiché la connessione Internet potrebbe essere un problema o per avere un modo alternativo per eseguirla), è anche possibile eseguire il test localmente con o senza una connessione Internet nel luogo in cui verrà eseguito il test. I passaggi seguenti sono un'alternativa facoltativa e descrivono come raggiungere questo obiettivo. In caso contrario, andare al passaggio 1.3.
   1. Accedi al repository GitHub al link: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Clicca sul pulsante verde < > Codice | Scarica ZIP, quindi decomprimi i file scaricati.
      NOTA: le modifiche apportate ai file archiviati localmente non modificheranno i file nel repository e viceversa. Eventuali modifiche destinate a entrambe le versioni devono essere applicate a entrambe le posizioni, copiando manualmente i file aggiornati o tramite l'uso di git/GitHub desktop.
   2. Scarica l'ultima versione di Mozilla Firefox tramite il link: https://www.mozilla.org/en-US/firefox/new/.
   3. Apri il browser Mozilla Firefox, inserisci "about:config" nello slot URL, inserisci "security.fileuri.strict_origin_policy" nel campo di ricerca e cambia il suo valore in false. NOTA: Ora, Mozilla Firefox nel sistema operativo Windows dovrebbe essere in grado di accedere localmente ai file della pagina Web scaricati sul tuo computer. Altri browser e sistemi operativi possono essere configurati per funzionare localmente, ognuno con la sua configurazione descritta al link http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Configurare lo strumento di elaborazione dati.
   1. Scarica e installa l'ultima versione di GNU Octave su https://octave.org/download.
4. Configura il dispositivo di tracciamento oculare.
   1. Assicurarsi che il software del sistema di registrazione sia installato sul laptop.
   2. Assicurati che la sala di ricerca sia pulita e ben organizzata per evitare distrazioni.
   3. Usa l'illuminazione artificiale nella stanza per mantenere un'illuminazione costante per tutto il giorno.
   4. Installa il computer su un tavolo e assicurati che il partecipante possa muovere comodamente il mouse.
   5. Fornire una sedia comoda per il partecipante, preferibilmente una sedia fissa, per ridurre al minimo i movimenti durante il test.
   6. Collegare un cavo USB per alimentare l'illuminazione a infrarossi e un altro cavo USB tra il laptop/computer e l'eye-tracker per la fotocamera.
   7. Posiziona l'eye tracker sotto lo schermo.

2. Raccolta dei dati

1. Inizializzare il software di raccolta dati.
   1. Esegui il software di tracciamento oculare sul computer per ricevere dati dall'eyetracker.
   2. Selezionare l'opzione Screen Capture nella finestra principale del software per catturare lo sguardo durante l'esperimento (è anche possibile utilizzare questo software per la visualizzazione della mappa di calore e l'esportazione dei dati grezzi).
   3. Fare clic su Nuovo progetto per creare un nuovo progetto e una cartella di progetto in cui salvare i dati.
   4. Aprire la pagina del test in https://rodrigocnstest.github.io/iRT_JoVE.html se si utilizza quella offerta come esempio o la pagina creata nel passaggio 1.1. In alternativa, aprire il file iRT_JoVE.html localmente dal browser configurato in precedenza nel passaggio 1.2.
   5. Se necessario, compila i campi del nome e dell'e-mail per facilitare l'identificazione dei dati e seleziona la casella per scaricare una copia di backup dei dati prodotti.
      NOTA: Se si utilizza il metodo offline (passaggio 1.2), si consiglia di scaricare le copie di backup.
   6. Prova a eseguire l'esperimento una sola volta per assicurarti che il browser carichi correttamente gli elementi e che non ci siano problemi con le attività presentate o l'acquisizione dei dati.
2. Esegui l'esperimento.
   1. Spiegare al partecipante lo scopo dell'esperimento, la tecnologia utilizzata e i criteri di inclusione/esclusione. Assicurati che il partecipante abbia capito tutto. Chiedi al partecipante di compilare il modulo di consenso.
   2. Chiedi al partecipante di sedersi davanti al sistema di tracciamento oculare e di mettersi il più a suo agio possibile.
   3. Spostare la sedia per garantire una distanza ottimale tra il partecipante e la telecamera (la lunghezza ideale è di 65 cm dall'eye-tracker agli occhi del partecipante).
   4. Chiedi al partecipante di rimanere il più fermo possibile durante l'esperimento. Regola l'altezza della fotocamera per catturare correttamente le pupille del partecipante (alcuni software evidenziano la pupilla per mostrare il riflesso corneale).
   5. Fare clic su Abilita guadagno automatico per ottimizzare il tracciamento delle pupille modificando il guadagno della fotocamera fino a trovare le pupille (alcuni software non hanno questa opzione).
   6. Chiedi al partecipante di guardare una serie di punti sullo schermo e di seguire il movimento del punto senza muovere la testa.
   7. Fare clic su Calibra per avviare la calibrazione (assicurerà che l'eye-tracker possa tracciare dove il partecipante sta guardando lo schermo).
      NOTA: Lo schermo si spegnerà e un indicatore di calibrazione (punto) si sposterà attraverso cinque posizioni sullo schermo.
   8. Dopo la calibrazione, sullo schermo verrà tracciata una stima visiva del punto di osservazione per verificare l'accuratezza della calibrazione. Chiedi al partecipante di guardare un punto specifico sul display per vedere se lo sguardo verrà visualizzato correttamente.
   9. Se la calibrazione non è soddisfacente, regolare la fotocamera e riprovare la calibrazione finché il sistema non segue lo sguardo in modo appropriato.
   10. Fare clic sul pulsante Raccogli dati sul lato destro del software di tracciamento oculare (menu principale) per attivare la modalità di raccolta dati. La visualizzazione in tempo reale dello schermo acquisito verrà presentata con i dati dello sguardo mostrati nella finestra di visualizzazione principale.
   11. Fare clic sul pulsante Gaze video nel menu principale per visualizzare il volto dell'utente catturato dall'eye tracker. Quindi, fai clic su Avvia record per iniziare l'esperimento.
       NOTA: Durante l'esperimento, la pupilla del partecipante viene evidenziata e il suo occhio viene visualizzato come un punto che si muove sullo schermo del laptop. Assicurati che l'eye tracker segua la pupilla e l'occhio sullo schermo.
   12. Se il punto scompare o sfarfalla frequentemente, interrompi l'esperimento e prova a calibrare di nuovo.
   13. Apri la finestra di iRT aperta in precedenza e chiedi al partecipante di fare clic su Avanti.
   14. Dai le seguenti istruzioni al partecipante: "In questa sezione, eseguirai tre attività di rotazione. Quando fai clic sul pulsante GO! pulsante, due oggetti appariranno sui lati opposti dello schermo. Il tuo obiettivo è ruotare l'oggetto a destra fino a farlo corrispondere il più possibile all'oggetto a sinistra. Per ruotare l'oggetto, fare clic e trascinare il mouse su di esso. Al termine di ciascuna delle tre attività, fai clic sul pulsante FATTO! pulsante per concludere."
       NOTA: per ogni attività, tutti i dati iRT oltre il segno dei 5 minuti (327^° secondo esatti) potrebbero andare persi. Man mano che sviluppiamo ulteriormente il metodo, questo limite dovrebbe essere ampliato.
   15. Al termine dell'esperimento, assicurati che l'eye tracker sia spento dal cavo di prolunga e rimetti il copriobiettivo sulla fotocamera.
3. Estrarre i dati.
   1. Una volta completata la raccolta dei dati dell'eye-tracker, clicca su Analizza dati per accedere ai dati raccolti.
   2. Esporta un file .csv con tutti i dati registrati per l'utente.
      NOTA: la prima colonna di dati dell'eye tracker deve essere l'epoca UNIX dei dati in quanto questo è l'unico modo per far corrispondere correttamente i diversi set di dati nel tempo. Se il file non ne contiene uno, deve essere convertito da qualsiasi altro standard di tempo utilizzato. Il file può essere in formato ".csv" o ".xlsx".
   3. Se utilizzi la versione online della pagina delle attività di rotazione interattiva (passaggio 1.1), apri il file di Fogli Google utilizzato per ricevere i dati online (creato nel passaggio 1.1.3) e scaricalo facendo clic su File | Scarica | Microsoft Excel (.xlsx).
      NOTA: Questi dati sono confezionati per facilitare il trasferimento dei dati (ogni attività corrisponde a una riga piena di dati). Per elaborare i dati all'interno, ogni riga di dati compressi deve essere prima "decompressa".

3. Elaborazione e analisi dei dati

1. Decomprimere, unire ed elaborare i dati.
   NOTA: la procedura seguente descrive come elaborare i dati utilizzando gli script forniti (fare riferimento al file supplementare 2). Gli script GNU Octave richiederanno all'utente di inserire input sui loro file. Se gli input vengono inviati come vuoti, verranno invece utilizzati i valori predefiniti, che fanno riferimento ai dati di esempio forniti se nessun dato utente li ha sovrascritti. Al termine dell'esecuzione dello script, è possibile chiuderlo.
   1. Scaricare e decomprimere il repository in uso (quello dell'utente o l'originale a https://github.com/rodrigocns/rodrigocns_JoVE) se non è ancora stato scaricato.
   2. Assicurarsi che gli script 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D rotational trajectory.m e i modelli di cartelle si trovino all'interno del repository scaricato nella cartella Octave e spostare i file di dati scaricati dai passaggi 2.3.2 e 2.3.3 nella stessa cartella in cui si trovano gli script di ottava.
      NOTA: Tutti i file esistenti già presenti nella cartella con gli stessi nomi dei file appena scritti potrebbero essere sovrascritti. Rinomina o sposta i file in un'altra cartella di conseguenza.
   3. Apri lo script 1.unpacking_sheets.m con il lanciatore GNU Octave. Nella scheda Editor , eseguire lo script facendo clic sul pulsante verde Salva file ed esegui per decomprimere i dati in una struttura più leggibile.
      NOTA: se uno dei file di dati richiesti è aperto localmente, ricordarsi di chiuderlo prima di eseguire lo script. Tutti i file di script .m sono stati eseguiti utilizzando il lanciatore GNU Octave.
   4. Appariranno due prompt, uno dopo l'altro. Inserire il nome del file scaricato all'interno del primo prompt e il nome del file non compresso all'interno del secondo campo. In alternativa, lasciare vuoti entrambi i campi del prompt per utilizzare i nomi predefiniti destinati ai file di esempio inclusi. Attendi qualche minuto (a seconda del volume di dati) per un popup che informa l'utente che il processo è completo e che il nuovo file è stato scritto.
   5. Aprire ed eseguire lo script 2.data_merge_and_process.m per unire i dati da entrambi gli eye tracker e iRT.
      NOTA: Sebbene questo script sia complesso, comprendendo centinaia di righe di codice, è diviso in tre sezioni principali: impostazioni, funzioni e script. Tutti sono accuratamente commentati e spiegati, facilitando future modifiche, se necessario.
   6. Appariranno quattro prompt. Immettere il valore sessionID, il valore taskID (entrambi dalla tabella dati iRT), il nome del file di dati iRT non compressi (scritto nel passaggio 3.1.5) e il nome del file di dati dell'eye tracker (esportato nel passaggio 2.3.2) o lasciarli tutti vuoti per utilizzare i valori predefiniti.
      NOTA: Dopo alcuni minuti, un popup di aiuto indicherà che lo script ha completato il calcolo e i nomi dei file utilizzati e creati. Durante il processo di sceneggiatura appariranno tre grafici di esempio di disparità angolare: un grafico semplice, un grafico con dati di sguardo colorati e un grafico con dati di diametro della pupilla. I due file creati sono l'output merge X Y.xlsx e l'output jmol console X Y.xlsx, dove X è il valore sessionID e Y è il valore taskID , entrambi scritti all'inizio del passaggio 3.1.6.
2. Rendering di immagini 3D della traiettoria di rotazione.
   1. Aprite ed eseguite lo script 3.3D rotation trajectory.m.
   2. Appariranno tre messaggi. Immettere il valore sessionID, il valore taskID e il nome del file di dati iRT non compressi oppure lasciarli vuoti per utilizzare i valori predefiniti.
      NOTA: Apparirà un grafico 3D. Il grafico di cui è stato eseguito il rendering è la traiettoria di rotazione 3D della sessione e dell'attività specificate.
3. Riproduci le animazioni.
   1. Per riprodurre l'interazione dell'attività del partecipante, per prima cosa, vai alla pagina Web dell'attività interattiva, avvia il test (mostrando entrambi i modelli 3D), sposta il puntatore del mouse nell'angolo in alto a destra dello schermo fino a quando l'icona del mouse non diventa testo, come illustrato nel file supplementare 2, quindi fai clic sul testo di debug invisibile, abilitando la modalità di debug.
   2. Dai pulsanti che compaiono tra i modelli, fare clic sul pulsante timerStop per interrompere l'attività e fare clic sul pulsante della console per aprire la console JSmol del modello a destra. Se l'attività dell'interazione di interesse non è stata la prima, fare clic sui pulsanti numerati all'interno dell'area di debug superiore per modificare l'attività visualizzata sullo schermo.
      NOTA: JSmol è il software di modellazione molecolare utilizzato nella pagina web.
   3. Apri il file di output jmol console.xlsx e copia l'intera pagina dei comandi Jmol.
      NOTA: Ogni pagina contiene comandi per una scena o un'animazione diversa.
   4. All'interno della console JSmol, incolla l'elenco dei comandi copiati e fai clic sul pulsante Esegui o premi Invio sulla tastiera per eseguirlo.
   5. Se lo si desidera, generare un'animazione .gif. Scrivi il comando capture "filename" SCRIPT "output" all'interno della console JSmol, dove filename è il nome del file .gif da creare e output è l'intero elenco dei comandi copiati nel passaggio 3.3.3, mantenendo entrambi tra virgolette doppie.
      NOTA: Più i comandi diventano complessi, con modelli più grandi o più cambiamenti nel tempo, e meno potenti sono le specifiche del computer utilizzato, più lenta diventerà l'animazione. Jmol si concentra sulla visualizzazione di composti chimici e reazioni, e il tipo di animazioni prodotte con la nostra ricerca spinge i confini delle capacità di rendering di Jmol. Questi punti dovrebbero essere considerati e presi in considerazione quando si eseguono misure quantitative con questa animazione.

4. Personalizzazione delle attività

NOTA: l'intera sezione è facoltativa e consigliata solo a coloro che amano sperimentare o capire come programmare. Di seguito, troverai alcune delle numerose opzioni personalizzabili disponibili e altre opzioni diventeranno disponibili man mano che sviluppiamo ulteriormente i metodi.

1. Configurare attività nuove o esistenti.
   1. Definisci quante attività interattive verranno eseguite dal partecipante e assegna un nome a ciascuna di esse nel file object_configs.js all'interno dell'array task_list sostituire i nomi degli elementi esistenti o aggiungerne altri. Assicurati che ogni nome sia univoco in quanto vengono utilizzati in seguito come identificatori.
   2. Scegliere i file di coordinate 3D compatibili con JSmol per eseguire le attività interattive (http://wiki.jmol.org/index.php/File_formats). Copiate questi file nella cartella dei modelli.
      NOTA: gli script inclusi in questo articolo sono ottimizzati per i modelli asimmetrici che utilizzano il formato di file .xyz. Quando si scelgono i file di coordinate, evitare le simmetrie di rotazione in quanto hanno soluzioni ambigue⁶⁵.
   3. Definisci le impostazioni di rendering per gli oggetti 3D all'interno della funzione prepMolecule(num).
      NOTA: Tutte le modifiche da un'attività all'altra eseguite da JSmol vanno qui: cambiare il modello di colore, cambiare la dimensione o il modo in cui gli elementi grafici vengono renderizzati, orientamento, traslazione, nascondere parti dell'oggetto, caricare nuovi modelli 3D, ecc. (per ulteriori esempi, vedi https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Ogni attività denominata in task_list corrisponde a un caso. Ogni comando che JSmol deve eseguire segue la struttura: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); dove jsmol_obj si riferisce all'oggetto che viene modificato (jsmol_ref e jsmol_obj sono i valori predefiniti per gli oggetti di destinazione e interattivi) seguiti da uno o più comandi separati da un ";".
2. Crea nuovi modelli.
   1. Utilizza qualsiasi modello .xyz scaricato online o costruito da editor molecolari come Avogadro (https://avogadro.cc/).

Risultati

Evoluzione della disparità angolare e di altre variabili
Come illustrato nel passaggio 3.3.1 del File supplementare 2, due tele vengono presentate al partecipante sullo schermo del monitor video, visualizzando copie dello stesso oggetto virtuale 3D con orientamenti diversi. Nell'area di disegno a sinistra, l'oggetto di destinazione (tObj) rimane statico e funge da posizione di destinazione o posizione tObj. Sulla tela di destra, l'og...

Discussione

Come affermato in precedenza, questo articolo mira a presentare una procedura dettagliata di mappatura in tempo reale dei dati di fissazione e movimento saccadico su oggetti 3D interattivi, che è facilmente personalizzabile e utilizza solo software disponibili gratuitamente, fornendo istruzioni passo-passo per far funzionare tutto.

Sebbene questa configurazione sperimentale comportasse un'attività altamente interattiva, come lo spostamento di un oggetto 3D i...

Materiali

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.