Technologie de suivi oculaire et techniques d’exploration de données utilisées pour une analyse comportementale des adultes engagés dans des processus d’apprentissage

Résumé

Nous présentons un protocole pour une analyse comportementale des adultes (âgés de 18 à 70 ans) engagés dans des processus d’apprentissage, entreprenant des tâches conçues pour l’apprentissage auto-régulé (SRL). Les participants, les enseignants et les étudiants universitaires, ainsi que les adultes de l’Université de l’expérience, ont été surveillés avec des dispositifs de suivi oculaire et les données ont été analysées avec des techniques d’exploration de données.

Résumé

L’analyse comportementale des adultes engagés dans des tâches d’apprentissage est un défi majeur dans le domaine de l’éducation des adultes. De nos jours, dans un monde de changements technologiques continus et de progrès scientifiques, il est nécessaire d’apprendre et d’inséducer tout au long de la vie dans des environnements éducatifs formels et non formels. En réponse à ce défi, l’utilisation de la technologie de suivi oculaire et des techniques d’exploration de données, respectivement, pour l’apprentissage supervisé (principalement la prédiction) et non supervisé (en particulier l’analyse en grappes), fournit des méthodes pour la détection des formes d’apprentissage parmi les utilisateurs et / ou la classification de leurs styles d’apprentissage. Dans cette étude, un protocole est proposé pour l’étude des styles d’apprentissage chez les adultes avec et sans connaissances préalables à différents âges (18 à 69 ans) et à différents moments du processus d’apprentissage (début et fin). Les techniques d’analyse statistique de la variance signifient que des différences peuvent être détectées entre les participants selon le type d’apprenant et la connaissance antérieure de la tâche. De même, l’utilisation de techniques de regroupement d’apprentissage non supervisées met en lumière des formes similaires d’apprentissage parmi les participants de différents groupes. Toutes ces données faciliteront les propositions personnalisées de l’enseignant pour la présentation de chaque tâche à différents points de la chaîne de traitement de l’information. Il sera également plus facile pour l’enseignant d’adapter le matériel pédagogique aux besoins d’apprentissage de chaque élève ou groupe d’élèves ayant des caractéristiques similaires.

Introduction

Méthodologie de suivi oculaire appliquée à l’analyse comportementale dans l’apprentissage
La méthodologie de suivi oculaire, entre autres utilisations fonctionnelles, est appliquée à l’étude du comportement humain, en particulier lors de la résolution des tâches. Cette technique facilite le suivi et l’analyse lors de l’accomplissement des tâches d’apprentissage¹. Plus précisément, les niveaux d’attention des élèves à différents moments du processus d’apprentissage (début, développement et fin) dans différentes matières (histoire, mathématiques, sciences, etc.) peuvent être étudiés à l’aide de la technologie de suivi oculaire. De plus, si la tâche comprend l’utilisation de vidéos avec une voix qui guide le processus d’apprentissage, l’apprentissage autoréglementé (SRL) est facilité. Par conséquent, la mise en œuvre de la technologie de suivi oculaire dans l’analyse des tâches auxquelles SRL (qui incluent l’utilisation de vidéos) est proposée comme une ressource importante pour comprendre comment l’apprentissage est développé^2,3,4. Cette combinaison signifie également que les différences entre les méthodes d’enseignement (avec ou sans SRL, etc.) peuvent être vérifiées avec différents types d’étudiants (avec ou sans connaissances préalables, etc.) ^5.En revanche, la présentation d’informations multicanaux (présentation simultanée d’informations auditives et visuelles, qu’elles soient verbales, écrites ou picturales) peut faciliter à la fois l’enregistrement et l’analyse d’informations pertinentes par rapport aux informations non pertinentes provenant des variables susmentionnées^6. Les étudiants ayant des connaissances antérieures exposées à des canaux d’apprentissage multimédias semblent apprendre plus efficacement que ceux qui ont peu ou pas de connaissances préalables. Les étudiants ayant des niveaux élevés de connaissances préalables sur la matière intégreront plus efficacement les informations textuelles et graphiques⁷. Cette fonctionnalité a été observée dans l’apprentissage des textes⁸ qui comprennent des images^9. La technologie de suivi oculaire offre des informations sur l’endroit où l’attention est concentrée et pendant combien de temps. Ces données donnent un aperçu du développement d’un processus d’apprentissage d’une manière plus précise que par la simple observation du processus de résolution lors de l’achèvement d’une tâche. En outre, l’analyse de ces indicateurs facilite l’étude de si l’étudiant développe un apprentissage profond ou superficiel. De plus, la relation entre ces données et les résultats d’apprentissage facilite la validation des informations obtenues avec la technologie de suivi oculaire^4,10. En fait, cette technique ainsi que SRL sont de plus en plus utilisés dans l’enseignement supérieur et dans l’éducation des adultes¹¹ environnements d’apprentissage, à la fois sur les cours réglementés et non réglementés¹².

La technologie de suivi oculaire offre différentes mesures: distance, vitesse, accélération, densité, dispersion, vitesse angulaire, transitions entre les zones d’intérêt (AOI), ordre séquentiel de l’AOI, visites dans les fixations, saccades, chemin de balayage et paramètres de la carte thermique. Cependant, l’interprétation de ces données est complexe et nécessite l’utilisation de supervisés (régression, arbres de décision, etc.) et non supervisés (techniques de cluster k-means, etc.) ^13,14 techniques d’exploration de données. Ces métriques peuvent être appliquées pour suivre le comportement d’un même sujet au fil du temps ou pour une comparaison entre plusieurs sujets et leurs performances avec la même tâche¹⁵, en analysant la différence entre les participants ayant des connaissances antérieures et aucune connaissance antérieure¹⁶. Des recherches récentes^11,17 ont révélé que les apprentis novices se fixent plus longtemps sur les stimuli (c’est-à-dire qu’il y a une plus grande fréquence de fixation tandis que des modèles de chemin de balayage similaires sont enregistrés). La durée moyenne de la fixation était plus longue pour les experts que pour les novices. Les experts ont présenté leur attention sur les points intermédiaires de l’information (proximale et centrale), différences qui peuvent également être observées dans les points de visualisation au sein de la ZI sur les cartes thermiques.

Interprétation des métriques dans le suivi oculaire
Des études récentes¹⁸ ont indiqué que l’acquisition d’informations est liée au nombre de fixations oculaires sur les stimuli. Une autre mesure importante est la saccade, qui est définie comme le mouvement rapide et soudain d’une fixation avec un intervalle de [10 ms, 100 ms]. Sharafi et coll. (2015)¹⁸ ont constaté des différences dans le nombre de saccades, selon la phase de codage de l’information de l’élève. Un autre paramètre pertinent est le chemin d’analyse, une mesure qui capture l’ordre chronologique des étapes que le participant effectue pour la résolution de la tâche d’apprentissage dans l’AOI définie par le chercheur¹⁸. De même, la technologie de suivi oculaire peut être utilisée pour prédire le niveau de compréhension du participant, qui semble être lié au nombre de fixations. Des études récentes ont indiqué que la variabilité du comportement du regard est déterminée par les propriétés de l’image (position, intensité, couleur et orientation), les instructions pour effectuer la tâche et le type de traitement de l’information (style d’apprentissage) du participant. Ces différences sont détectées en analysant l’interaction de l’élève avec les différents AOI¹⁹. Les techniques quantitatives²⁰ (analyse fréquentielle) et/ou qualitatives ou^{dynamiques 21} (chemin de balayage) peuvent être utilisées pour analyser les données collectées à partir des différentes mesures. Les premières techniques sont analysées avec des techniques statistiques traditionnelles (analyse de fréquence, différence moyenne, différence de variance, etc.) et les secondes sont analysées avec des techniques d’apprentissage automatique (distances euclidiennes avec des méthodes d’édition de chaînes^21,22et clustering^17). L’application de ces techniques facilite le regroupement, en tenant compte des différentes caractéristiques des sujets. Une étude¹⁷ a révélé que plus l’étudiant est expert, plus la stratégie de traitement de l’information spatiale et temporelle mise en œuvre est efficace. Un tableau descriptif des paramètres de mesure qui ont été utilisés dans cette étude peut être consulté ci-dessous dans le tableau 1.

Tableau 1 : Paramètres les plus représentatifs qui peuvent être obtenus avec la technique de suivi oculaire, adaptée de Sáiz, Zaparaín, Marticorena et Velasco (2019). ^{20 ans}   Veuillez cliquer ici pour télécharger ce tableau.

Application de la méthodologie de suivi oculaire à l’étude du processus d’apprentissage
L’utilisation des avancées technologiques et des techniques d’analyse de données décrites ci-dessus⁵ ajoutera une plus grande précision à l’analyse comportementale des apprenants lors de la résolution de problèmes dans les différentes phases du traitement de l’information (initiation des tâches, traitement de l’information et résolution des tâches). Tout cela facilitera l’analyse comportementale individuelle, qui permettra à son tour le regroupement d’étudiants ayant des caractéristiques similaires²⁴. De même, les techniques prédictives (arbres de décision, techniques de régression, etc.) ²⁵ peut être appliqué à l’apprentissage, lié à la fois au nombre de fixations et aux résultats de résolution de tâche de chaque élève. Cette fonctionnalité est une avancée très importante dans la connaissance de la façon dont chaque étudiant apprend et pour la proposition de programmes d’apprentissage personnalisés au sein de différents groupes (personnes avec ou sans difficultés d’apprentissage²⁶). Par conséquent, l’utilisation de cette technique contribuera à la réalisation de la personnalisation et de l’optimisation de l’apprentissage^27. L’apprentissage tout au long de la vie doit être compris comme un cycle d’amélioration continue, car la connaissance de la société progresse et progresse constamment. La psychologie évolutionniste indique que les compétences de résolution et l’efficacité dans le traitement de l’information diminuent avec l’âge. Plus précisément, la fréquence, l’amplitude et la vitesse des mouvements oculaires chez les adultes se sont avérées diminuer avec l’âge. En outre, à des âges plus avancés, l’attention se concentre sur les zones inférieures des scènes visuelles, ce qui est lié à des déficits dans la mémoire de travail¹⁴. Néanmoins, l’activation augmente dans les secteurs frontaux et préfrontaux à un âge plus avancé, qui semble compenser ces déficits dans la résolution de tâche. Cet aspect comprend le niveau de connaissances antérieures et les stratégies de compensation cognitive que le sujet peut appliquer. Les participants expérimentés apprennent plus efficacement, car ils gèrent l’attention plus efficacement, grâce à l’application de processus de supervision automatisés²⁸. En outre, si l’information à apprendre est transmise par le biais des techniques SRL, les lacunes susmentionnées sont atténuées¹⁷. L’utilisation de telles techniques signifie que les modèles de suivi visuel sont très similaires, à la fois dans les sujets sans connaissances préalables et dans les sujets ayant des connaissances préalables⁷.

En résumé, l’analyse des données multimodales-multicanaux sur les LRS obtenues à l’utilisation de technologies d’apprentissage avancé (eye-tracking) est essentielle pour comprendre l’interaction entre les processus cognitifs, métacognitifs et motivationnels, et leur impact sur l’apprentissage^29. Les résultats et l’étude des différences d’apprentissage ont des implications pour la conception de matériel d’apprentissage et de systèmes de tutorat intelligents, qui permettront tous deux un apprentissage personnalisé susceptible d’être plus efficace et satisfaisant pour l’étudiant de³⁰ans.

Dans cette recherche, deux questions d’enquête ont été posées : (1) Y aura-t-il des différences significatives dans les résultats d’apprentissage et dans les paramètres de fixation oculaire entre les étudiants et les enseignants experts par rapport aux enseignants non experts en histoire de l’art différenciant les étudiants ayant des diplômes officiels par rapport aux étudiants ayant des diplômes non officiels (Université de l’expérience - Éducation des adultes)? et (2) Les groupes de chaque participant ayant des résultats d’apprentissage et des paramètres de fixation oculaire coïncideront-ils avec le type de participants (étudiants ayant des diplômes officiels, étudiants avec des diplômes non officiels (Université de l’expérience - Éducation des adultes) et enseignants)?

Protocole

Ce protocole a été réalisé conformément au règlement de procédure du Comité de bioéthique de l’Université de Burgos (Espagne) nº Nº IR27/2019. Avant leur participation, les participants avaient été pleinement informés des objectifs de la recherche et avaient tous donné leur consentement éclairé. Ils n’ont reçu aucune compensation financière pour leur participation.

1. Recrutement des participants

1. Recruter des participants parmi un groupe d’adultes dans deux environnements (étudiants et enseignants), avec un rang d’âge de 18 à 69 ans dans l’environnement de l’enseignement supérieur (éducation formelle et non formelle).
2. Inclure les participants ayant une vision et une audition normales ou corrigées à la normale.
3. Exclure les participants atteints de troubles neurologiques, psychiatriques et du sommeil, d’incapacités liées à des besoins éducatifs spéciaux, de difficultés perceptuelles (troubles de la vue et de l’ouïe) et de troubles cognitifs.
   REMARQUE : Dans le cadre de cette étude, nous avons travaillé avec un échantillon de 40 participants, 6 étudiants de l’Université de l’expérience (un participant a été exclu de la catégorie des étudiants de l’université de l’expérience en raison de difficultés visuelles), 25 professeurs d’université dans les disciplines des sciences de la santé, du génie, de l’histoire et du patrimoine, et 9 étudiants de premier cycle et de maîtrise suivant des cours en sciences de la santé, en génie, en histoire et en patrimoine. Les participants n’avaient aucun problème cognitif, auditif ou visuel, et ils avaient tous une vision normale ou corrigée à la normale(tableau 2). C’est pourquoi, l’un des participants a été éliminé avant de commencer l’expérience parce que le nystagmus avait été détecté sur lui et donc la tâche a été appliquée à un échantillon de 39 participants. Les participants n’ont reçu aucune rémunération financière ou professionnelle; c’est pourquoi la motivation des participants était élevée car elle n’était basée que sur leur intérêt à savoir comment fonctionne cette méthode de suivi oculaire lors d’un processus d’apprentissage lié au patrimoine culturel, en particulier à l’origine des monastères européens.

Tableau 2. Caractéristiques de l’échantillon.  Veuillez cliquer ici pour télécharger ce tableau.

2. Procédure expérimentale

1. Séance 1 : Collecte du consentement éclairé, des données personnelles et des connaissances de base
   1. Obtenir un consentement éclairé. Avant le test, informer chaque participant des objectifs de l’étude et de la collecte, du traitement et du stockage de ses données. L’accord de chaque participant est donné en signant le formulaire de consentement éclairé.
      NOTA : La participation à cette étude était volontaire et il n’y avait pas de récompense financière. Cet aspect garantissait que l’accomplissement des tâches n’avait aucune motivation économique. Avant de commencer la tâche, l’intervieweur, un expert dans le domaine, remplit un questionnaire avec des questions sur l’âge, le sexe, la profession et la connaissance préalable du sujet, dans ce cas, l’origine et l’évolution historique des monastères en Europe (voir tableau 3). Cette étude s’inscrit dans le cadre d’un projet européen (2019-1-ES01-KA204-095615-Coordinateur 6) sur l’apprentissage du patrimoine culturel de l’humanité par les adultes tout au long de sa vie ; c’est pourquoi ce type de tâche a été choisi. Chaque enquêteur choisira le sujet en fonction de son domaine de travail.

Tableau 3. Questionnaire d’entrevue.  Veuillez cliquer ici pour télécharger ce tableau.

2. Séance 2: Étalonnage
   1. Informer le participant sur le fonctionnement de la technologie de suivi oculaire et sur la façon dont les informations seront collectées, enregistrées et calibrées: « Nous utiliserons la technologie de suivi oculaire pour observer l’achèvement de la tâche d’apprentissage sur l’origine et le développement des monastères européens. Le suivi oculaire est une technologie qui vous permet de suivre votre regard pendant que vous effectuez l’activité et il n’a pas d’effets secondaires, ni il est invasif, puisque dans cette étude, seul le suivi oculaire est enregistré ».
   2. Expliquez au participant qu’un test valide nécessite un positionnement approprié. Demandez au participant de s’asseoir à une certaine distance [45 à 60 cm] du moniteur. La distance dépendra de la hauteur du participant, plus la hauteur est faible, plus la distance est courte.
   3. Informez le participant qu’une série de points apparaîtra sur les points cardinaux de l’écran et que chaque point apparaît, le participant doit l’observer avec les yeux. Le participant peut se déplacer d’un point à un autre en utilisant le curseur « Entrée ». La phase d’étalonnage a une durée de 10-15 minutes.
      REMARQUE: Un eye-tracking iViewer XTM, SMI Experimenter Center 3.0 et SMI Be Gaze et un moniteur avec une résolution de 1680×1050 ont été utilisés pour l’exercice de résolution de tâche. Cet équipement enregistre les mouvements oculaires, leurs coordonnées et les diamètres pupillaires de chaque œil. Dans cette étude, 60 Hz ont été appliqués, des mesures de chemin de balayage et des mesures dynamiques de chemin de balayage ont été utilisées, et des statistiques d’AOI ont été déterminées.
   4. Vérifiez le paramètre d’étalonnage. Le professionnel supervisant le test analyse le réglage d’étalonnage sur l’écran de contrôle.
      1. Effectuez l’étalonnage via le système d’étalonnage inclus dans l’iViewer XTM de suivi oculaire. Avant de commencer cette tâche, chaque participant réalise un suivi visuel de quatre points sur un écran aux quatre coins (haut-droite, haut-gauche, bas-droite, bas-gauche). Ensuite, le logiciel dispose d’un processus de vérification de l’exécution de la bonne position de ces stimuli et donne des informations sur l’ajustement du paramètre en degrés. Si ce réglage est situé entre 0,6º ± 1 dans les yeux droit et gauche, on considère que l’étalonnage est correct et l’exécution de la tâche commence. Un exemple du processus peut être vérifié dans Figure 1.
         REMARQUE : L’achèvement correct de la tâche est pris en compte lorsque les degrés dans les yeux droit et gauche sont fixés à 0,6º ± 1 écart type. Dans cette étude, deux étalonnages ont été détectés parmi le groupe de professeurs d’université qui dépassaient le critère d’ajustement de 0,6º ± 1 et deux participants ont donc été retirés. Les 25 participants du premier échantillon ont donc été réduits à 23 participants.

Figure 1. Processus d’étalonnage de suivi oculaire Veuillez cliquer ici pour voir une version plus grande de cette figure.

3. Séance 3 : Exécution de la tâche d’apprentissage
   1. Expliquez le contenu de la tâche au participant. Un expert en psychologie pédagogique explique au participant en quoi consistera la tâche et comment l’effectuer : « La vidéo dure 1:14 seconde et se compose de 5 images en voix off. À la fin, le participant est invité à compléter un petit puzzle de mots croisés pour vérifier que les informations présentées dans la vidéo ont été comprises ».
   2. Regardez le clip vidéo. La vidéo utilisée dans la tâche peut être visionnée sur le lien suivant : https://youtu.be/HlGGgrYDTFs.
      NOTE: La tâche consiste à regarder une vidéo qui offre des informations sur les origines des monastères européens. L’information a été élaborée par un spécialiste, un professeur d’histoire de l’art. L’information est organisée en deux canaux, l’un visuel qui comprend des images et des informations écrites présentées sous forme de contours et un autre audio parce qu’un enseignant spécialisé SRL parle tout au long de la vidéo en insistant sur le contenu le plus significatif en utilisant l’accent verbal.
   3. Exécution du puzzle de mots croisés sur une plate-forme virtuelle basée sur Moodle. En cliquant sur l’icône de mots croisés, le participant se rendre sur une plateforme virtuelle où les mots croisés peuvent être complétés, pour vérifier si les connaissances ont été acquises. Le puzzle de mots croisés est présenté dans Figure 2.

Figure 2. Mots croisés puzzle pour vérifier les connaissances acquises. Veuillez cliquer ici pour voir une version plus grande de cette figure.

4. Séance 4 : Analyse des données
   1. Choisissez les zones d’intérêt (ZI). Les IFA sont définis dans la vidéo et sont divisés en IFA qui contiennent des renseignements pertinents par rapport aux IFA qui contiennent des renseignements non pertinents.
      NOTA : L’assignation de la ZI est réalisée par l’expérimentateur qui décide quels sont les ZI pertinents ou non pertinents par rapport à l’information présentée.
   2. Extraire la base de données relative aux paramètres des fixations AOI (« Event Start Trial Time », « Event End Trial Time » et « Event Duration »; « Position de fixation X », « Position de fixation Y », « Taille moyenne de la pupille de fixation », « Taille moyenne de la pupille de fixation Y px », « Diamètre moyen de la pupille de fixation », « Dispersion de fixation X » et « Dispersion de fixation Y »).
   3. Importez la base de données dans un progiciel de traitement statistique et sélectionnez l’option analyser, puis classer, suivie de l’option k-means cluster. Sélectionnez ensuite le tableau croisé dans le progiciel statistique, par exemple SPSS, suivi de l’option « ANOVA », pour analyser les différences entre les participants (type de groupes d’adultes et degré de connaissance préalable) en ce qui concerne leurs paramètres de fixation de la ZI^31.
      REMARQUE: L’analyse de clustering ou de cluster est une technique d’apprentissage automatique « non supervisée » et, dans k-means, il s’agit d’une méthode de regroupement, dont le but est de partitionner un ensemble de n observations en k groupes, dans lesquels chaque observation appartient au groupe avec la valeur moyenne la plus proche. Dans cette expérience, le clustering k-means a été utilisé pour vérifier les clusters de participants à la tâche d’apprentissage. Cette correspondance est importante, car elle offre à l’enseignant ou au thérapeute des informations sur le développement fonctionnel homogène des utilisateurs qui vont au-delà du diagnostic, fournissant des informations pour proposer des programmes d’intervention similaires dans certains domaines du développement fonctionnel. Cette option devrait faciliter la pleine utilisation du service éducatif ou thérapeutique et de ses ressources personnelles et matérielles.
   4. Effectuez une analyse de visualisation des données (descriptives et analyse de cluster) qui sont traitées, à l’aide d’un logiciel de visualisation tel qu’Orange³².
   5. Extrayez les données sur les paramètres des statistiques détaillées : temps d’arrêt, durée du coup d’œil, durée du détournement, nombre de regards, nombre de fixations, fixation moyenne et durée, puis importez cette base de données dans un progiciel statistique. Sélectionnez l’option « ANOVA » dans le package statistique, puis effectuez une analyse de visualisation des données traitées (moyennes). Utilisez la feuille de calcul pour générer un graphique en araignée et des graphiques à barres spécifiques pour les groupes de participants.
5. Séance 5 : Propositions d’apprentissage personnalisées
   1. Exécuter un programme d’intervention pour améliorer les résultats d’apprentissage chez les participants détectés dans l’analyse en grappes, en raison de leurs scores inférieurs.
      REMARQUE : Un résumé des phases suivies dans la procédure expérimentale est illustré à la figure 3.

Figure 3. Phases de la procédure expérimentale. Veuillez cliquer ici pour voir une version plus grande de cette figure.

Résultats

Les 36 participants recrutés pour la présente étude provenaient de trois groupes d’adultes (étudiants de l’université d’expérience, professeurs d’université et étudiants de premier cycle et de maîtrise) âgés de [18 à 69] ans(tableau 2). Le protocole a été testé pendant 20 mois à l’Université de Burgos. Un aperçu de l’évolution de la note peut être présenté au tableau 4.

Discussion

Les résultats de la recherche ont indiqué que la durée moyenne de fixation sur les stimuli pertinents était plus longue chez les participants ayant des connaissances antérieures. De même, l’attention portée à ce groupe est portée sur les points intermédiaires de l’information (proximale et distale)⁷. Les résultats de cette étude ont révélé des différences dans la façon dont les participants traitaient l’information. De plus, leur traitement n’était pas toujours lié au re...

matériels

Name	Company	Catalog Number	Comments
iViewer XTM	iViewer
SMI Experimenter Center 3.0	SMI
SMI Be Gaze	SMI