Una metodologia per catturare l'attenzione visiva congiunta utilizzando Mobile Eye-Tracker

Riepilogo

L'utilizzo di sensori multimodali è un modo promettente per comprendere il ruolo delle interazioni sociali negli ambienti educativi. Questo documento descrive una metodologia per catturare l'attenzione visiva congiunta da diade geografiche colocation utilizzando eye-tracker mobili.

Abstract

Con l'avvento di nuovi progressi tecnologici, è possibile studiare le interazioni sociali a microlivello con una precisione senza precedenti. I sensori ad alta frequenza, come eye-tracker, braccialetti di attività elettrodermica, bande EEG e sensori di movimento forniscono osservazioni al livello di millisecondo. Questo livello di precisione consente ai ricercatori di raccogliere set di dati di grandi dimensioni sulle interazioni sociali. In questo articolo, discuto come più eye-tracker possono catturare un costrutto fondamentale nelle interazioni sociali, l'attenzione visiva congiunta (JVA). JVA è stato studiato dagli psicologi dello sviluppo per capire come i bambini acquisiscono la lingua, imparando gli scienziati a capire come piccoli gruppi di studenti lavorano insieme e gli scienziati sociali per comprendere le interazioni in piccoli team. Questo documento descrive una metodologia per l'acquisizione di JVA in impostazioni colocation utilizzando eye-tracker mobili. Presenta alcuni risultati empirici e discute le implicazioni della cattura delle microosservazioni per comprendere le interazioni sociali.

Introduzione

JVA è stato ampiamente studiato nel corso del secolo scorso, in particolare da psicologi dello sviluppo che studiano l'acquisizione del linguaggio. È stato rapidamente stabilito che l'attenzione congiunta è più di un semplice modo per imparare le parole, ma piuttosto un precursore delle teorie della mente dei bambini¹. Così, svolge un ruolo significativo in molti processi sociali, come comunicare con gli altri, collaborare e sviluppare l'empatia. I bambini autistici, per esempio, non hanno la capacità di coordinare la loro attenzione visiva con i loro caregiver, che è associato a significativi menomazioni sociali². Gli esseri umani hanno bisogno di un'attenzione congiunta per diventare membri funzionali della società, per coordinare le loro azioni e per imparare dagli altri. Dall'acquisizione delle prime parole da parte dei bambini, gli adolescenti che imparano dagli insegnanti, dagli studenti che collaborano a progetti e a gruppi di adulti che lavorano verso obiettivi comuni, l'attenzione congiunta è un meccanismo fondamentale per stabilire un terreno comune tra gli individui³. In questo articolo, mi concentro sullo studio di JVA nella ricerca educativa. Comprendere come l'attenzione congiunta si svolge nel tempo è di primaria importanza per lo studio dei processi di apprendimento collaborativo. Come tale, svolge un ruolo predominante negli ambienti sociocostruttivisti.

L'esatta definizione di attenzione comune è ancora dibattuta⁴. Questo documento si occupa di un sottocostruto dell'attenzione congiunta (JA), vale a dire JVA. JVA si verifica quando due soggetti stanno guardando lo stesso posto allo stesso tempo. Va notato che JVA non fornisce alcuna informazione su altri importanti costrutti di interesse nello studio di JA, come il monitoraggio dell'attenzione comune, reciproca e condivisa, o più in generale, la consapevolezza della cognizione di un altro membro del gruppo. Questo documento consente di rendere omeno JVA combinando i dati di tracciamento degli occhi di due partecipanti e analizzando la frequenza con cui allineano i loro sguardi. Per una discussione più completa, il lettore interessato può saperne di più sullo studio del costrutto JA in Siposovaet al.⁴.

Nell'ultimo decennio, i progressi tecnologici hanno trasformato radicalmente la ricerca sulla JVA. Il cambiamento di paradigma principale è stato quello di utilizzare più eye-tracker per ottenere misure quantitative di allineamenti dell'attenzione, al contrario di analisi qualitativa delle registrazioni video in un ambiente di laboratorio o ecologico. Questo sviluppo ha permesso ai ricercatori di raccogliere informazioni precise e dettagliate sul coordinamento visivo dei dyads. Inoltre, gli eye-tracker stanno diventando più convenienti: fino a poco tempo fa, il loro uso era riservato a contesti accademici o grandi aziende. È ora possibile acquistare eye-tracker poco costosi che generano set di dati affidabili. Infine, la progressiva inclusione delle funzionalità di tracciamento dello sguardo nei dispositivi esistenti, come computer portatili di fascia alta e cuffie di realtà virtuale e aumentata, suggerisce che il tracciamento degli occhi diventerà presto onnipresente.

A causa della divulgazione dei dispositivi di tracciamento degli occhi, è importante capire cosa possono e non possono dirci sulle interazioni sociali. La metodologia presentata in questo documento segna un primo passo in questa direzione. Affronto due sfide nell'acquisizione di JVA da più eye-tracker: la sincronizzazione dei dati su 1) la scala temporale e 2) sulla scala spaziale. Più specificamente, questo protocollo si avvale di marcatori fiduciari collocati in ambienti reali per informare gli algoritmi di visione artificiale in cui i partecipanti stanno orientando il loro sguardo. Questo nuovo tipo di metodologia apre la strada a un'analisi rigorosa del comportamento umano in piccoli gruppi.

Questo protocollo di ricerca è conforme alle linee guida del comitato etico della ricerca umana dell'Università di Harvard.

Protocollo

1. Screening dei partecipanti

1. Assicurarsi che i partecipanti con una visione normale o corretta-to-normale siano reclutati. Poiché ai partecipanti verrà chiesto di indossare un eye-tracker mobile, potranno indossare lenti a contatto ma non occhiali normali.

2. Preparazione per l'esperimento

1. Dispositivi di tracciamento oculare
   1. Utilizza qualsiasi eye-tracker mobile in grado di catturare il movimento degli occhi in ambienti reali.
      NOTA: Gli eye-tracker mobili utilizzati qui erano due Tobii Pro Glasses 2 (vedi Tabella dei materiali). Oltre alle telecamere specializzate in grado di monitorare i movimenti degli occhi, gli occhiali sono dotati anche di una telecamera scena HD e di un microfono in modo che lo sguardo possa essere visualizzato nel contesto del campo visivo dell'utente. Questi occhiali catturano i dati dello sguardo 50 volte al secondo. Altri ricercatori hanno utilizzato ASL Mobile Eye⁵, SMI⁶o Pupil-labs⁷, che forniscono flussi video dalla telecamera della scena e coordinate di tracciamento degli occhi a diverse frequenze di campionamento (30-120 Hz). La procedura riportata di seguito può variare leggermente rispetto ad altri dispositivi di tracciamento degli occhi.
2. Marcatori Fiduciali
   1. I due passaggi seguenti (cioè allineamenti temporali e spaziali) richiedono l'uso di indicatori fiduciari. Ci sono diverse librerie di visione artificiale che forniscono ai ricercatori questi marcatori e algoritmi per rilevarli su un feed di immagini o video. Il protocollo descritto utilizza la libreria Chilitag⁸.
3. Allineamento temporale
   1. Poiché i dati di eye-tracking vengono registrati su due unità separate, assicurarsi che i dati siano sincronizzati correttamente (Figura 1). È possibile utilizzare due metodi principali. Questo manoscritto copre solo il primo metodo, perché la sincronizzazione del server funziona in modo diverso con ogni marca di eye-tracker mobile.
      1. Mostra brevemente un indicatore fiduciario sullo schermo di un computer per contrassegnare l'inizio e la fine di una sessione. È simile a un oggetto visivo "hand clap" (Figura 2).
      2. In alternativa, utilizzare un server per sincronizzare gli orologi delle due unità di raccolta dati. Questo metodo è leggermente più preciso e consigliato se è necessaria una maggiore precisione temporale.
4. Allineamento spaziale
   1. Per scoprire se due partecipanti guardano nello stesso luogo contemporaneamente, mappare i loro sguardi su un piano comune. Questo piano può essere un'immagine dell'impostazione sperimentale (vedere il lato sinistro della figura 3). Progettare con attenzione questa immagine prima dell'esperimento.
   2. Dimensione dei marcatori fiduciari: la dimensione generale dei marcatori fiduciari dipende dall'algoritmo utilizzato per rilevarli dal video di eye-tracking. Le superfici vicine ai partecipanti possono avere marcatori fiduciari più piccoli, mentre le superfici più lontane da essi devono essere più grandi, in modo che appaiano simili dal punto di vista dei partecipanti. Prova in anticipo diverse dimensioni per assicurarti che possano essere rilevate dal video di tracciamento degli occhi.
   3. Numero di marcatori fiduciari: per rendere il processo di mappatura dei punti dello sguardo in un piano comune riuscito, assicurarsi di avere diversi marcatori fiduciari visibili dal punto di vista dei partecipanti in un dato momento.
   4. Posizione dei marcatori fiduciari: inquadrare le aree di interesse rilevanti con strisce di marcatori fiduciari (ad esempio, vedere lo schermo del laptop nella figura 3).
5. Infine, eseguire i progetti pilota per testare la procedura di sincronizzazione e determinare la posizione, le dimensioni e il numero di marcatori fiduciari ottimali. I video di tracciamento oculare possono essere elaborati tramite un algoritmo di visione artificiale per vedere se i marcatori fiduciari vengono rilevati in modo affidabile.

3. Esecuzione dell'esperimento

1. Istruzioni
   1. Istruire i partecipanti a indossare gli occhiali da eye-tracking come farebbero con un normale paio di occhiali. Sulla base dei tratti del viso distinti dei partecipanti, pezzi di naso di diverse altezze potrebbero essere necessari per preservare la qualità dei dati.
   2. Dopo aver acceso l'eye-tracker, chiedi ai partecipanti di ritagliare l'unità di registrazione a se stessi per consentire il movimento naturale del corpo.
2. Calibrazione
   1. Istruire i partecipanti a guardare al centro del marcatore di calibrazione fornito da Tobii mentre la funzione di calibrazione del software è abilitata. Una volta completata la calibrazione, la registrazione può essere avviata dall'interno del software.
   2. Indicare ai partecipanti di non spostare gli eye-tracker mobili dopo la calibrazione. In caso affermativo, è probabile che i dati siano imprecisi e che la procedura di calibrazione debba essere eseguita di nuovo.
3. Monitoraggio dei dati
   1. Monitorare il processo di raccolta dei dati durante lo studio e assicurarsi che i dati di tracciamento oculare vengano raccolti correttamente. La maggior parte degli eye-tracker mobili può fornire un live streaming su un dispositivo separato (ad esempio, un tablet) per questo scopo.
4. Esportazione dei dati
   1. Al termine della sessione di registrazione, indicare al partecipante di rimuovere gli occhiali da tracciamento degli occhi e l'unità di raccolta dati. Spegnere l'unità.
   2. Estrarre i dati utilizzando un altro software, Tobii Pro Lab, rimuovendo la scheda SD dall'unità di raccolta dati importando i dati della sessione. Tobii Pro Lab può essere utilizzato per riprodurre il video, creare visualizzazioni ed esportare i dati di eye-tracking come file separati da virgole (.csv) o a schede (.tsv).

4. Pre-elaborazione dei dati di tracciamento oculare doppio

1. Controllo sanity dei dati di tracciamento oculare
   1. Controllare visivamente i dati di eye-tracking dopo la raccolta dei dati. Non è raro che alcuni partecipanti abbiano dati mancanti. Ad esempio, una particolare fisiologia degli occhi può porre problemi agli algoritmi di eye-tracking, gli occhiali potrebbero cambiare durante l'esperimento, il software di raccolta dati potrebbe bloccarsi, ecc.
   2. Utilizzare statistiche descrittive per verificare la quantità di dati persi durante ogni sessione ed escludere le sessioni con quantità significative di dati mancanti o rumorosi.
2. Allineamento temporale
   1. Tagliare i dati da ogni eye-tracker mobile per includere solo le interazioni tra i partecipanti. Ciò può essere ottenuto utilizzando il metodo descritto in precedenza (cioè presentando due indicatori fiduciari speciali ai partecipanti all'inizio e alla fine della sessione). Questi marcatori fiduciali possono quindi essere rilevati dal video di eye-tracking per tagliare i set di dati.
3. Allineamento spaziale
   NOTA: Per rilevare se due partecipanti guardano nello stesso luogo contemporaneamente, è necessario rimappare lo sguardo dei partecipanti su un piano comune (ad esempio, un'immagine dell'ambientazione sperimentale). Un metodo computazionale per raggiungere questo obiettivo è un'omografia (cioè una trasformazione prospettica di un piano). Da un punto di vista tecnico, due immagini della stessa superficie planare nello spazio sono correlate da una matrice omografia. In base a un insieme comune di punti, questa matrice può essere utilizzata per dedurre la posizione dei punti aggiuntivi tra due piani. Nella Figura 3,ad esempio, se un algoritmo di visione artificiale sa dove si trovano gli indicatori fiduciali sullo sguardo, è possibile rimappare lo sguardo del partecipante sul piano comune sul lato sinistro. Le linee bianche collegano i due set di punti condivisi dal feed video di ogni partecipante e dalla scena, che vengono poi utilizzati per costruire l'omografia per rimappare i punti verdi e blu sul lato sinistro.
   1. Utilizzare la versione Python di OpenCV, ad esempio, per calcolare la matrice omografica dai marcatori fiduciari e quindi per rimappare i dati di tracciamento oculare alla scena dell'impostazione sperimentale (o qualsiasi altra libreria adatta nel linguaggio scelto). OpenCV fornisce due funzioni utili: findHomoography() per ottenere la matrice omografia e perspectiveTransform() per trasformare il punto da una prospettiva all'altra.
   2. Per utilizzare findHomoography(), eseguire con due argomenti: le coordinate X,Y dei punti di origine (cioè, i marcatori fiduciari rilevati dal video della scena dei partecipanti, mostrati a destra nella Figura 3) e i corrispondenti punti di destinazione (cioè gli stessi indicatori fiduciari rilevati sull'immagine della scena, mostrati a sinistra nella Figura 3).
   3. Inserire la matrice omolografica risultante nella funzione perspectiveTransform(), insieme a un nuovo punto che deve essere mappato dall'immagine di origine all'immagine di destinazione (ad esempio, i dati di tracciamento degli occhi visualizzati come un punto blu/verde sul lato destro della figura 3). La funzione perspectiveTransform restituisce la nuova coordinata dello stesso punto nell'immagine della scena (cioè i punti blu/verdi visualizzati sul lato sinistro della figura 3).
      NOTA: Per ulteriori informazioni, la documentazione ufficiale di OpenCV fornisce codice di esempio ed esempi per implementare l'omografia: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
4. Sanità controllando l'omografia
   1. Completa la sezione 4.3 per l'intera sessione ed esegui un'omografia su ogni fotogramma del video mobile di eye-tracking per verificare la qualità dell'omografia. Mentre non ci sono modi automatizzati per stimare l'accuratezza dei dati di eye-tracking risultanti, video come quello mostrato figura 4 dovrebbero essere utilizzati per il controllo di integrità manuale ogni sessione.
   2. Se la qualità è inferiore al previsto, prendere in considerazione parametri aggiuntivi per migliorare i risultati dell'omografia:
      1. Numero di marcatori fiduciari rilevati: eseguire l'omografia solo se è possibile rilevare un numero sufficiente di marcatori fiduciari dal flusso video. Questo numero può essere determinato esaminando il video prodotto in precedenza.
      2. Posizione dei marcatori fiduciari: Se diversi marcatori sono a diverse profondità e orientamenti, la qualità dell'omografia di solito aumenta quando vengono selezionati i marcatori più vicini alle coordinate dello sguardo, dato che ci sono abbastanza marcatori per costruire un robusto omografia.
      3. Orientamento dei marcatori fiduciari: la combinazione di marcatori fiduciari con orientamenti diversi (ad esempio orizzontale e verticale) produrrà omografie imprecise. Si consiglia di rilevare innanzitutto quale piano o aree di interesse (AOI) il partecipante sta guardando (ad esempio, lo schermo del computer, il foglio di trucco, la tabella, vedere la figura 3) e quindi utilizzare i marcatori fiduciari su questo piano per l'omografia.
      4. Qualità del flusso video: movimenti improvvisi della testa possono offuscare i fotogrammi video e rendere i dati inutilizzabili, perché i marcatori fiduciari non possono essere rilevati in modo affidabile (Figura 4). La metodologia di questo documento non è appropriata per esperimenti che comportano molti movimenti improvvisi della testa.

5. Analisi dei dati di tracciamento oculare doppio

1. Dati mancanti
   1. Per assicurarsi che i dati siano stati rimappati correttamente sull'immagine di riferimento, produrre grafici di visualizzazione (ad esempio, Figura 5, Figura 6) e statistiche descrittive per verificare la quantità di dati mancanti.
2. Grafici di ricorrenza incrociata
   1. Utilizzare i grafici di ricorrenza^{incrociata 9} per rappresentare la sincronizzazione visiva tra due partecipanti (Figura 6), in cui l'asse X rappresenta il tempo per il primo partecipante e l'asse Y rappresenta il tempo per il secondo partecipante. I quadrati neri indicano che i partecipanti stanno guardando la stessa area, una linea diagonale nera descrive due soggetti che guardano la stessa cosa esattamente allo stesso tempo, e i quadrati neri fuori dalla linea diagonale descrivono quando due soggetti che guardano la stessa cosa con un ritardo temporale. Infine, la differenziazione tra i dati mancanti (quadrato bianco) e i dati esistenti senza JVA (quadrati grigi) consente di identificare le sessioni problematiche. Questo fornisce ai ricercatori un controllo di integrità visiva.
3. Calcolo JVA
   1. Dopo aver filtrato i dati mancanti, calcola una metrica per JVA contando il numero di volte in cui gli sguardi dei partecipanti si trovano nello stesso raggio nella scena (definita di seguito) in un intervallo di tempo di -2/2 s. Dividere questo numero per il numero di punti dati validi che possono essere utilizzati per calcolare JVA. Il risultato della divisione rappresenta la percentuale di tempo in cui due soggetti hanno guardato congiuntamente nello stesso luogo. Quest'ultimo passaggio è necessario per evitare di gonfiare i punteggi dei gruppi con più dati dopo l'omografia.
      NOTA: Due parametri devono essere impostati prima che JVA possa essere calcolato, la distanza minima tra due punti di sguardo e l'intervallo di tempo tra di essi(Figura 7): 1) Intervallo di tempo: Un primo studio fondamentale¹⁰ ha utilizzato un singolo eye-tracker per misurare JVA tra un ascoltatore e un altoparlante. I ricercatori hanno chiesto a una prima serie di partecipanti ("oratori") di parlare di uno show televisivo i cui personaggi sono stati visualizzati davanti a loro. Un secondo gruppo di partecipanti ("ascoltatori") ha quindi guardato lo stesso spettacolo durante l'ascolto della registrazione audio degli altoparlanti. I movimenti oculari degli altoparlanti e degli ascoltatori sono stati confrontati, e si è scoperto che i movimenti oculari di un ascoltatore corrispondevano strettamente al movimento dell'occhio di un altoparlante con un ritardo di 2 s. Nel lavoro successivo¹¹ ricercatori hanno analizzato i dialoghi dal vivo e hanno scoperto che un ritardo di 3 s migliori momenti catturati di JVA. Poiché ogni attività è unica e potrebbe presentare diversi intervalli di tempo, si consiglia anche di esplorare come diversi intervalli di tempo influenzano i risultati di un determinato esperimento. Nel complesso, è comune cercare JVA in una finestra di tempo di 2/3 s a seconda del compito sperimentale e quindi esplorare come diversi intervalli di tempo potrebbero cambiare i risultati. 2) Distanza tra gli sguardi: non c'è una distanza empiricamente definita tra due sguardi per loro di contare come JVA. Questa distanza dipende dalle domande di ricerca definite dai ricercatori. Le domande di ricerca dovrebbero informare l'entità degli obiettivi di interesse. Nell'esempio illustrato nella Figura 7,è stato scelto un raggio di 100 pixel sull'immagine della scena (cerchi blu/verdi) per l'analisi perché è sufficiente acquisire quando i partecipanti guardano il robot nel labirinto, nonché gli elementi dell'interfaccia utente simili sullo schermo del computer, che sono le due principali aree di interesse per questa attività sperimentale.

Risultati

La metodologia presentata sopra è stata utilizzata per studiare gli studenti che seguivano un programma di formazione professionale in logistica (n . 54)¹². In questo esperimento, coppie di studenti hanno interagito con un'interfaccia utente tangibile (TUI) che simulava un magazzino su piccola scala. I marcatori fiduciari posizionati sull'TUI hanno permesso al team di ricerca di rimappare gli sguardi degli studenti su un piano comune e sui livelli di calcolo di JVA. I risultati hanno indicato che...

Discussione

La metodologia descritta in questo documento fornisce un modo rigoroso per catturare JVA in diadi colocation. Con l'emergere di una tecnologia di rilevamento a prezzi accessibili e di algoritmi di visione artificiale migliorati, è ora possibile studiare le interazioni collaborative con una precisione che in precedenza non era disponibile. Questa metodologia sfrutta i marcatori fiduciari diffusi nell'ambiente e utilizza le omografie come un modo per rimappare gli sguardi dei partecipanti su un piano comune. Questo permet...

Materiali

Name	Company	Catalog Number	Comments
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers	Chili lab – EPFL, Switzerland	N/A	https://github.com/chili-epfl/chilitags