Tecnologia di tracciamento oculare e tecniche di data mining utilizzate per un'analisi comportamentale degli adulti impegnati nei processi di apprendimento

Riepilogo

Presentiamo un protocollo per un'analisi comportamentale degli adulti (dai 18 ai 70 anni) impegnati in processi di apprendimento, svolgendo compiti progettati per l'apprendimento autoregolato (SRL). I partecipanti, i docenti universitari e gli studenti, e gli adulti dell'Università dell'Esperienza, sono stati monitorati con dispositivi di tracciamento oculare e i dati sono stati analizzati con tecniche di data mining.

Abstract

L'analisi comportamentale degli adulti impegnati in compiti di apprendimento è una sfida importante nel campo dell'educazione degli adulti. Al giorno d'oggi, in un mondo di continui cambiamenti tecnologici e progressi scientifici, c'è bisogno di apprendimento e istruzione per tutta la vita in ambienti educativi sia formali che non formali. In risposta a questa sfida, l'uso della tecnologia di tracciamento oculare e delle tecniche di data mining, rispettivamente, per l'apprendimento supervisionato (principalmente previsione) e non supervisionato (in particolare l'analisi dei cluster), fornisce metodi per il rilevamento di forme di apprendimento tra gli utenti e / o la classificazione dei loro stili di apprendimento. In questo studio, viene proposto un protocollo per lo studio degli stili di apprendimento tra adulti con e senza conoscenze precedenti a diverse età (dai 18 ai 69 anni) e in diversi punti durante tutto il processo di apprendimento (inizio e fine). Le tecniche di analisi statistica della varianza fanno sì che possano essere rilevate differenze tra i partecipanti per tipo di discente e conoscenza precedente del compito. Allo stesso modo, l'uso di tecniche di clustering di apprendimento non supervisionate getta luce su forme simili di apprendimento tra i partecipanti in diversi gruppi. Tutti questi dati faciliteranno le proposte personalizzate del docente per la presentazione di ogni compito in diversi punti della catena del trattamento delle informazioni. Sarà inoltre più facile per il docente adattare il materiale didattico alle esigenze di apprendimento di ogni studente o gruppo di studenti con caratteristiche simili.

Introduzione

Metodologia di tracciamento oculare applicata all'analisi comportamentale nell'apprendimento
La metodologia di tracciamento oculare, tra gli altri usi funzionali, viene applicata allo studio del comportamento umano, in particolare durante la risoluzione delle attività. Questa tecnica facilita il monitoraggio e l'analisi durante il completamento dei compiti di apprendimento¹. Nello specifico, i livelli di attenzione degli studenti in diversi punti del processo di apprendimento (inizio, sviluppo e fine) in diverse materie (Storia, Matematica, Scienze, ecc.) possono essere studiati con l'uso della tecnologia di tracciamento oculare. Inoltre, se l'attività include l'uso di video con una voce che guida il processo di apprendimento, l'apprendimento autoregolato (SRL) è facilitato. Pertanto, l'implementazione della tecnologia di eye-tracking nell'analisi dei compiti a cui SRL (che include l'uso di video) viene proposta come risorsa significativa per capire come viene sviluppato^{l'apprendimento 2,3,4}. Questa combinazione significherà anche che le differenze tra i metodi didattici (con o senza SRL, ecc.) possono essere verificate con diversi tipi di studenti (con o senza conoscenze precedenti, ecc.) ⁵. Al contrario, la presentazione di informazioni multicanale (presentazione simultanea di informazioni sia uditivo che visive, verbali, scritte o pittoriche) può facilitare sia la registrazione che l'analisi di informazioni pertinenti rispetto a quelle non pertinenti delle variabili sopra menzionate⁶. Gli studenti con conoscenze precedenti esposte ai canali di apprendimento multimediale sembrano imparare in modo più efficace rispetto a quelli con poca o nessuna conoscenza precedente. Gli studenti con alti livelli di conoscenza preliminare della materia integreranno più efficacemente le informazioni testuali e grafiche⁷. Questa funzionalità è stata osservata nell'apprendimento dei testi⁸ che includono immagini⁹. La tecnologia di tracciamento oculare offre informazioni su dove si concentra l'attenzione e per quanto tempo. Questi dati forniscono informazioni sullo sviluppo di un processo di apprendimento in modo più preciso che attraverso la semplice osservazione del processo di risoluzione durante il completamento di un compito. Inoltre, l'analisi di questi indicatori facilita lo studio se lo studente sviluppa un apprendimento profondo o superficiale. Inoltre, il rapporto tra questi dati e i risultati di apprendimento facilita la validazione delle informazioni ottenute con la tecnologia di^{tracciamento oculare 4,10}. Infatti, questa tecnica insieme a SRL sono sempre più utilizzate nell'Istruzione Superiore e negli^{ambienti di apprendimento dell'Educazione degli Adulti 11,} sia sui corsi regolamentati che su corsi non^{regolamentati 12.}

La tecnologia di tracciamento oculare offre diverse metriche: distanza, velocità, accelerazione, densità, dispersione, velocità angolare, transizioni tra aree di interesse (AOI), ordine sequenziale di AOI, visite nelle fissazioni, saccadi, percorso di scansione e parametri della mappa termica. Tuttavia, l'interpretazione di questi dati è complessa e richiede l'uso di supervisionati (regressione, alberi decisionali, ecc.) e non supervisionati (tecniche di cluster k-means, ecc.) ^{13,14 tecniche} di data mining. Queste metriche possono essere applicate per monitorare il comportamento dello stesso soggetto nel tempo o per un confronto tra più soggetti e le loro prestazioni con la^{stessa attività 15}, analizzando la differenza tra partecipanti con conoscenze precedenti rispetto a nessuna conoscenza^{precedente 16}. Recenti ricerche^{11,17 hanno} rivelato che gli apprendisti alle prime armi si fissano più a lungo sugli stimoli (cioè, c'è una maggiore frequenza di fissazione mentre vengono registrati modelli di percorso di scansione simili). La durata media della fissazione è stata più lunga per gli esperti che per i principianti. Gli esperti hanno presentato il loro focus di attenzione sui punti centrali delle informazioni (prossimali e centrali), differenze che possono essere viste anche nei punti di visualizzazione all'interno dell'AOI sulle mappe di calore.

Interpretazione delle metriche nel tracciamento oculare
Recenti studi¹⁸ hanno indicato che l'acquisizione di informazioni è correlata al numero di fissazioni oculari sugli stimoli. Un'altra metrica importante è la saccade, che è definita come il movimento rapido e improvviso di una fissazione con un intervallo di [10 ms, 100 ms]. (2015)^{18 hanno riscontrato} differenze nel numero di saccadi, a seconda della fase di codifica delle informazioni dello studente. Un altro parametro rilevante è il percorso di scansione, una metrica che acquisisce l'ordine cronologico dei passaggi che il partecipante esegue per la risoluzione dell'attività di apprendimento all'interno dell'AOI definito dal ricercatore¹⁸. Allo stesso modo, la tecnologia di tracciamento oculare può essere utilizzata per prevedere il livello di comprensione del partecipante, che sembra essere correlato al numero di fissazioni. Studi recenti hanno indicato che la variabilità nel comportamento dello sguardo è determinata dalle proprietà dell'immagine (posizione, intensità, colore e orientamento), dalle istruzioni per eseguire l'attività e dal tipo di elaborazione delle informazioni (stile di apprendimento) del partecipante. Queste differenze vengono rilevate analizzando l'interazione dello studente con i diversi AOI¹⁹. Le^{tecniche quantitative 20} (analisi delle frequenze) e/o qualitative^{o dinamiche 21} (percorso di scansione) possono essere utilizzate per analizzare i dati raccolti dalle diverse metriche. Le prime tecniche vengono analizzate con tecniche statistiche tradizionali (analisi delle frequenze, differenza media, differenza di varianza, ecc.) e le ultime vengono analizzate con tecniche di Machine Learning (distanze euclidee con metodi di modifica^{delle stringhe 21,22}e clustering^17). L'applicazione di queste tecniche facilita il raggruppamento, considerando le diverse caratteristiche dei soggetti. Uno studio^{17 ha} rilevato che più lo studente è esperto, più efficace è la strategia di elaborazione delle informazioni spaziali e temporali implementata. Una tabella descrittiva dei parametri di misurazione utilizzati nel presente studio può essere consultata qui di seguito nella tabella 1.

Tabella 1: Parametri più rappresentativi che possono essere ottenuti con la tecnica di tracciamento oculare, adattati da Sáiz, Zaparaín, Marticorena e Velasco (2019). ^{20 di cui: La commissione per l'}   Clicca qui per scaricare questa Tabella.

Applicazione della metodologia di tracciamento oculare allo studio del processo di apprendimento
L'uso dei progressi tecnologici e delle tecniche di analisi dei dati sopra^{descritte 5} aggiungerà maggiore precisione all'analisi comportamentale degli studenti durante la risoluzione dei problemi nelle diverse fasi dell'elaborazione delle informazioni (avvio delle attività, elaborazione delle informazioni e risoluzione delle attività). Tutto faciliterà l'analisi comportamentale individuale, che a sua volta consentirà il raggruppamento di studenti con caratteristiche simili²⁴. Allo stesso modo, tecniche predittive (alberi decisionali, tecniche di regressione, ecc.) ²⁵ può essere applicato all'apprendimento, relativo sia al numero di fissazioni che ai risultati di risoluzione delle attività di ogni studente. Questa funzionalità è un progresso molto importante nella conoscenza di come ogni studente impara e per la proposta di programmi di apprendimento personalizzati all'interno di diversi gruppi (persone con o senza difficoltà di apprendimento^26). Pertanto, l'uso di questa tecnica contribuirà al raggiungimento della personalizzazione e dell'ottimizzazione^{dell'apprendimento 27}. L'apprendimento lungo tutto l'arco della vita deve essere inteso come un ciclo di miglioramento continuo, poiché la conoscenza della società avanza e progredisce costantemente. La psicologia evolutiva indica che le capacità di risoluzione e l'efficacia nell'elaborazione delle informazioni diminuiscono con l'età. In particolare, la frequenza saccade, l'ampiezza e la velocità dei movimenti oculari tra gli adulti sono state trovate a diminuire con l'età. Inoltre, in età avanzata, l'attenzione è focalizzata sulle aree inferiori delle scene visive, che è correlata a deficit nella memoria di lavoro¹⁴. Tuttavia, l'attivazione aumenta nelle aree frontali e prefrontali in età avanzata, il che sembra compensare questi deficit nella risoluzione dei compiti. Questo aspetto include il livello di conoscenze precedenti e le strategie di compensazione cognitiva che il soggetto può applicare. I partecipanti esperti imparano in modo più efficiente, poiché gestiscono l'attenzione in modo più efficace, grazie all'applicazione di processi di supervisione^{automatizzati 28}. Inoltre, se le informazioni da appresa vengono impartite attraverso tecniche SRL, le suddette carenze sono mitigate^17. L'uso di tali tecniche significa che i modelli di tracciamento visivo sono molto simili, sia in soggetti senza conoscenze prescie presci e in materie con conoscenze^{precedenti 7}.

In sintesi, l'analisi dei dati multimodali-multicanale su SRL ottenuti con l'utilizzo di tecnologie avanzate di apprendimento (eye-tracking) è fondamentale per comprendere l'interazione tra processi cognitivi, metacognitivi e motivazionali, e il loro impatto^{sull'apprendimento 29.} I risultati e lo studio delle differenze nell'apprendimento hanno implicazioni per la progettazione di materiali didattici e sistemi di tutoraggio intelligenti, che consentiranno entrambi un apprendimento personalizzato che sarà probabilmente più efficace e soddisfacente per lo^{studente 30.}

In questa ricerca sono state poste due domande di indagine: (1) Ci saranno differenze significative nei risultati di apprendimento e nei parametri di fissazione oculare tra studenti e insegnanti esperti rispetto a quelli non esperti in Storia dell'Arte differenziando gli studenti con lauree ufficiali rispetto agli studenti con lauree non ufficiali (Università di esperienza - educazione degli adulti)? e (2) I cluster di ciascun partecipante con risultati di apprendimento e parametri di fissazione oculare coincideranno con il tipo di partecipanti (studenti con lauree ufficiali, studenti con lauree non ufficiali (Università dell'esperienza - istruzione degli adulti) e insegnanti)?

Protocollo

Questo protocollo è stato eseguito nel rispetto delle norme procedurali del Comitato Bioetico dell'Università di Burgos (Spagna) nº Nº IR27/2019. Prima della loro partecipazione, i partecipanti erano stati pienamente consapevoli degli obiettivi della ricerca e avevano tutti fornito il loro consenso informato. Non hanno ricevuto alcuna compensazione finanziaria per la loro partecipazione.

1. Reclutamento dei partecipanti

1. Recluta partecipanti tra un gruppo di adulti all'interno di due ambienti (studenti e insegnanti), con un grado di età compresa tra i 18 e i 69 anni nell'ambiente dell'istruzione superiore (istruzione formale e non formale).
2. Includere partecipanti con visione e udito normali o corretti al normale.
3. Escludere i partecipanti con disturbi neurologici, psichiatrici e del sonno, disabilità legate a bisogni speciali educativi, difficoltà percettivi (vista e udito compromessi) e disabilità cognitive.
   NOTA: In questo studio abbiamo lavorato con un campione di 40 partecipanti, 6 studenti dell'Università di Esperienza (un partecipante è stato escluso nella categoria degli studenti dell'università di esperienza a causa di difficoltà visive), 25 professori universitari nelle discipline delle scienze della salute, ingegneria, storia e patrimonio e 9 studenti universitari e master che seguono corsi di scienze della salute, ingegneria, storia e patrimonio. I partecipanti non avevano problemi cognitivi, uditi o visivi e avevano tutti una visione normale o corretta alla normalità(tabella 2). Ecco perché, uno dei partecipanti è stato eliminato prima di iniziare l'esperimento perché su di lui era stato rilevato il nystagmus e quindi il compito è stato applicato a un campione di 39 partecipanti. I partecipanti non hanno ricevuto alcuna compensazione finanziaria né professionale; ecco perché la motivazione dei partecipanti era alta in quanto si basava solo sul loro interesse a sapere come funziona questo metodo di tracciamento oculare durante un processo di apprendimento relativo al patrimonio culturale, in particolare l'origine dei monasteri europei.

La tabella 2. Caratteristiche del campione.  Clicca qui per scaricare questa Tabella.

2. Procedura sperimentale

1. Sessione 1: Raccolta del consenso informato, dei dati personali e delle conoscenze di base
   1. Ottenere il consenso informato. Prima del test, informare ogni partecipante degli obiettivi dello studio e della raccolta, trattamento e conservazione dei propri dati. L'accordo di ciascun partecipante è dato firmando il modulo di consenso informato.
      NOTA: La partecipazione a questo studio è stata volontaria e non vi è stata alcuna ricompensa finanziaria. Questo aspetto ha fatto sì che il completamento dei compiti non avesse alcuna motivazione economica. Prima di iniziare il compito, l'intervistatore, un esperto del settore, compila un questionario con domande sull'età, il sesso, l'occupazione e la conoscenza preliminare dell'argomento, in questo caso l'origine e lo sviluppo storico dei monasteri in Europa (cfr. tabella 3). Questo studio fa parte di un progetto europeo (2019-1-ES01-KA204-095615-Coordinatore 6) sull'apprendimento degli adulti sul patrimonio culturale dell'umanità per tutta la vita; ecco perché è stato scelto questo tipo di compito. Ogni investigatore sceglierà l'argomento in base al proprio campo di lavoro.

La tabella 3. Questionario di colloquio.  Clicca qui per scaricare questa Tabella.

2. Sessione 2: Calibrazione
   1. Informare il partecipante su come funziona la tecnologia di tracciamento oculare e su come le informazioni saranno raccolte e registrate e calibrate: "Useremo la tecnologia di tracciamento oculare per osservare il completamento del compito di apprendimento sull'origine e lo sviluppo dei monasteri europei. Il tracciamento oculare è una tecnologia che ti consente di seguire il tuo sguardo mentre esegui l'attività e non ha effetti collaterali, né è invasivo, poiché in questo studio viene registrato solo il tracciamento oculare".
   2. Spiegare al partecipante che un test valido richiede un posizionamento adeguato. Far sedere il partecipante a una certa distanza dal monitor. La distanza dipenderà dall'altezza del partecipante, più bassa è l'altezza, più breve è la distanza.
   3. Informare il partecipante che una serie di punti apparirà sui punti cardinali dello schermo e che man mano che ogni punto appare il partecipante deve osservarlo con gli occhi. Il partecipante può spostarsi da un punto all'altro utilizzando il cursore "invio". La fase di calibrazione ha una durata di 10-15 minuti.
      NOTA: per l'esercizio di risoluzione delle attività sono stati utilizzati un eye-tracking iViewer XTM, SMI Experimenter Center 3.0 e SMI Be Gaze e un monitor con una risoluzione di 1680×1050. Questa apparecchiatura registra i movimenti oculari, le loro coordinate e i diametri pupillari di ogni occhio. In questo studio sono stati applicati 60 Hz, sono state utilizzate metriche del percorso di scansione e metriche dinamiche del percorso di scansione e sono state determinate le statistiche AOI.
   4. Controllare l'impostazione di calibrazione. Il professionista che supervisiona il test analizza l'impostazione di calibrazione sulla schermata di controllo.
      1. Eseguire la calibrazione tramite il sistema di calibrazione incluso in Eye-tracking iViewer XTM. Prima di iniziare questa attività, ogni partecipante realizza un follow-up visivo di quattro punti su uno schermo fino ai quattro angoli (su destra, su sinistra, in basso a destra, in basso a sinistra). Successivamente, il software ha un processo di verifica dell'esecuzione della giusta posizione di questi stimoli e fornisce informazioni sulla regolazione dei parametri in gradi. Se questa regolazione si trova tra 0,6º ± 1 nell'occhio destro e sinistro, si ritiene che la calibrazione sia corretta e che inizi l'esecuzione dell'attività. Un esempio del processo può essere verificato nella figura 1.
         NOTA: Il corretto completamento dell'attività viene considerato quando i gradi nell'occhio destro e sinistro sono impostati a 0,6º ± 1 deviazione standard. In questo studio sono state rilevate due calibrazioni tra il gruppo di professori universitari che hanno superato il criterio di aggiustamento di 0,6º ± 1 e due partecipanti sono stati quindi rimossi. I 25 partecipanti al primo campione sono stati quindi ridotti a 23 partecipanti.

Figura 1. Processo di calibrazione del tracciamento oculare Fare clic qui per visualizzare una versione più grande di questa figura.

3. Sessione 3: Esecuzione dell'attività di apprendimento
   1. Spiegare il contenuto dell'attività al partecipante. Un esperto di psicologia didattica spiega al partecipante in cosa consisterà il compito e come eseguito: "Il video dura 1:14 secondi ed è composto da 5 immagini voice-over. Alla fine, il partecipante è invitato a completare un piccolo cruciverba per verificare che le informazioni presentate nel video siano state comprese".
   2. Guarda il videoclip. Il video utilizzato nell'attività può essere visualizzato al seguente link: https://youtu.be/HlGGgrYDTFs.
      NOTA: Il compito consiste nel guardare un video che offre informazioni sulle origini dei monasteri europei. Le informazioni sono state elaborate da uno specialista, un insegnante di storia dell'arte. Le informazioni sono organizzate in due canali, uno visivo che include immagini e informazioni scritte presentate come contorni e un altro audio perché un insegnante specializzato srl sta parlando in tutto il video insistendo sui contenuti più significativi utilizzando l'enfasi verbale.
   3. Esecuzione del cruciverba su una piattaforma virtuale basata su Moodle. Cliccando sull'icona del cruciverba il partecipante porta il partecipante a una piattaforma virtuale dove il cruciverba può essere completato, per verificare se la conoscenza è stata acquisita. Il cruciverba è presentato nella figura 2.

Figura 2. Cruciverba per verificare le conoscenze acquisite. Clicca qui per visualizzare una versione più grande di questa figura.

4. Sessione 4: Analisi dei dati
   1. Scegli le aree di interesse (AOI). Gli AOI sono definiti nel video e sono divisi in AOI che contengono informazioni pertinenti rispetto agli AOI che includono informazioni non pertinenti.
      NOTA: L'assegnazione AOI è realizzata dallo sperimentatore che decide quali sono le AOI rilevanti o irrilevanti in relazione alle informazioni presentate.
   2. Estrarre il database relativo ai parametri per le correzioni AOI ("Event Start Trial Time", "Event End Trial Time" e "Event Duration"; "Posizione di fissazione X", "Posizione di fissazione Y", "Dimensione media della pupilla di fissazione", "Dimensione media fissazione pupilla Y px", "Diametro pupillo medio di fissazione", "Dispersione di fissazione X" e "Dispersione di fissazione Y").
   3. Importare il database in un pacchetto software di elaborazione statistica e selezionare l'opzione analyze e quindi classify, seguita dall'opzione k-means cluster. Quindi selezionare la tabella incrociata nel pacchetto software statistico, ad esempio SPSS, seguita dall'opzione "ANOVA", per analizzare le differenze tra i partecipanti (tipo di gruppi adulti e grado di conoscenza precedente) per quanto riguarda i loro parametri di fissazione AOI³¹.
      NOTA: Il clustering o analisi del cluster è una tecnica di machine learning "non supervisionata" e, all'interno di k-means, è un metodo di raggruppamento, il cui scopo è quello di partizionare un insieme di n osservazioni in gruppi k, in cui ogni osservazione appartiene al gruppo con il valore medio più vicino. In questo esperimento, il clustering k-meansè stato utilizzato per controllare i cluster di partecipanti all'attività di apprendimento. Questa corrispondenza è importante, perché offre al docente o al terapeuta informazioni sullo sviluppo funzionale omogeneo degli utenti che vanno oltre la diagnosi, fornendo informazioni per proporre programmi di intervento simili in alcune aree di sviluppo funzionale. Questa opzione dovrebbe facilitare il pieno utilizzo del servizio educativo o terapeutico e delle sue risorse personali e materiali.
   4. Eseguire un'analisi di visualizzazione dei dati (analisi descrittiva e cluster) elaborati, utilizzando un software di visualizzazione come Orange³².
   5. Estrarre i dati sui parametri delle statistiche dettagliate: Tempo di rigonfiamento, Durata sguardo, Durata deviazione, Conteggio sguardi, Conteggio fissazione, Fissazione media e Durata, quindi importare il database in un pacchetto software statistico. Selezionare l'opzione 'ANOVA' nel pacchetto statistico e quindi condurre un'analisi di visualizzazione dei dati elaborati (mezzi). Usa il foglio di calcolo per generare un grafico a ragno e grafici a barre specifici per i gruppi di partecipanti.
5. Sessione 5: Proposte di apprendimento personalizzate
   1. Eseguire un programma di intervento per migliorare i risultati di apprendimento tra i partecipanti rilevati nell'analisi del cluster, a causa dei punteggi più bassi.
      NOTA: Un riassunto delle fasi seguite nella procedura sperimentale è illustrato nella figura 3.

Figura 3. Fasi della procedura sperimentale. Clicca qui per visualizzare una versione più grande di questa figura.

Risultati

I 36 partecipanti reclutati per il presente studio provengono da tre gruppi di adulti (studenti dell'università di esperienza, professori universitari e studenti universitari e di laurea magistrale) con età compresa tra i 18 e i 69 anni(tabella 2). Il protocollo è stato testato per oltre 20 mesi presso l'Università di Burgos. Una descrizione dello sviluppo è riportata nella tabella 4.

Discussione

I risultati della ricerca hanno indicato che la durata media di fissazione degli stimoli pertinenti era più lunga tra i partecipanti con conoscenze precedenti. Allo stesso modo, l'attenzione su questo gruppo è rivolta ai punti intermedi dell'informazione (prossimale e distale)⁷. I risultati di questo studio hanno rivelato differenze nel modo in cui i partecipanti hanno elaborato le informazioni. Inoltre, la loro elaborazione non è sempre stata legata al raggruppamento iniziale (Studenti dell'Un...

Materiali

Name	Company	Catalog Number	Comments
iViewer XTM	iViewer
SMI Experimenter Center 3.0	SMI
SMI Be Gaze	SMI