Cartographie tridimensionnelle de la rotation d’objets virtuels interactifs avec des données de suivi oculaire

Résumé

Nous avons développé une méthode simple, personnalisable et efficace pour enregistrer des données processuelles quantitatives à partir de tâches spatiales interactives et cartographier ces données de rotation avec des données de suivi oculaire.

Résumé

Nous présentons une méthode d’enregistrement en temps réel de l’interaction humaine avec des objets virtuels tridimensionnels (3D). L’approche consiste à associer les données de rotation de l’objet manipulé à des mesures comportementales, telles que l’eye tracking, afin de mieux inférence sur les processus cognitifs sous-jacents.

La tâche consiste à afficher deux modèles identiques d’un même objet 3D (une molécule), présentés sur un écran d’ordinateur : un objet interactif en rotation (iObj) et un objet cible statique (tObj). Les participants doivent faire pivoter iObj à l’aide de la souris jusqu’à ce qu’ils considèrent que son orientation est identique à celle de tObj. L’ordinateur suit toutes les données d’interaction en temps réel. Les données du regard du participant sont également enregistrées à l’aide d’un oculomètre. La fréquence de mesure est de 10 Hz sur l’ordinateur et de 60 Hz sur l’eye tracker.

Les données d’orientation de iObj par rapport à tObj sont enregistrées en quaternions de rotation. Les données du regard sont synchronisées avec l’orientation d’iObj et référencées à l’aide de ce même système. Cette méthode nous permet d’obtenir les visualisations suivantes du processus d’interaction humaine avec iObj et tObj : (1) disparité angulaire synchronisée avec d’autres données dépendantes du temps ; (2) trajectoire de rotation 3D à l’intérieur de ce que nous avons décidé d’appeler une « boule de rotations » ; (3) Carte thermique de fixation 3D. Toutes les étapes du protocole ont utilisé des logiciels libres, tels que GNU Octave et Jmol, et tous les scripts sont disponibles en tant que matériel supplémentaire.

Avec cette approche, nous pouvons mener des études quantitatives détaillées du processus de résolution de tâches impliquant des rotations mentales ou physiques, plutôt que seulement le résultat obtenu. Il est possible de mesurer précisément l’importance de chaque partie des modèles 3D pour le participant à la résolution des tâches, et ainsi de relier les modèles à des variables pertinentes telles que les caractéristiques des objets, les capacités cognitives des individus et les caractéristiques de l’interface homme-machine.

Introduction

La rotation mentale (RM) est une capacité cognitive qui permet aux individus de manipuler et de faire pivoter mentalement des objets, facilitant ainsi une meilleure compréhension de leurs caractéristiques et de leurs relations spatiales. C’est l’une des capacités visuospatiales, un groupe cognitif fondamental qui a été étudié dès 1890¹. Les capacités visuospatiales sont une composante importante du répertoire cognitif d’un individu qui est influencée à la fois par des facteurs héréditaires et environnementaux 2,3,4,5. L’intérêt pour les capacités visuospatiales s’est accru tout au long du XXe siècle en raison des preuves de plus en plus nombreuses de leur importance dans des sujets clés tels que le vieillissement⁶ et le développement⁷, les performances en sciences, technologie, ingénierie et mathématiques (STIM)^8,9, la créativité¹⁰ et les traits évolutifs¹¹.

L’idée contemporaine de la RM dérive des travaux pionniers publiés par Shepard et Metzler (SM) en 1971¹². Ils ont mis au point une méthode chronométrique à l’aide d’une série de tâches « identiques ou différentes », présentant deux projections d’objets 3D abstraits présentés côte à côte. Les participants devaient faire pivoter mentalement les objets sur un certain axe et décider si ces projections représentaient le même objet, tournaient différemment ou des objets distincts. L’étude a révélé une corrélation linéaire positive entre le temps de réponse (RT) et la disparité angulaire (DA) entre les représentations d’un même objet. Cette corrélation est connue sous le nom d’effet de disparité d’angle (ADE). L’ADE est considérée comme une manifestation comportementale de la RM et est devenue omniprésente dans plusieurs études ultérieures influentes dans le domaine 13,14,15,16,17,18,19,20,21,22,23,24,25. Les objets 3D utilisés dans l’étude SM étaient composés de 10 cubes contigus générés par le pionnier des graphes informatiques Michael Noll aux Laboratoires Bell²⁶. Ils sont appelés figures SM et sont largement utilisés dans les études RM.

Deux avancées ont été d’une grande importance dans l’œuvre fondamentale de Shepard et Metzler ; tout d’abord, considérer les contributions dans le domaine des évaluations RM. En 1978, Vanderberg et Kuze²⁷ ont développé un test psychométrique de 20 éléments basé sur des figures SM « identiques ou différentes » qui est devenu connu sous le nom de test de rotation mentale (VKMRT). Chaque élément de test présente un stimulus cible. Les participants doivent choisir parmi quatre stimuli, ceux qui représentent le même objet que celui représenté dans le stimulus cible, et ceux qui ne le représentent pas. VKMRT a été utilisé pour étudier la corrélation entre la capacité RM et divers autres facteurs, tels que les différences liées au sexe 6,21,24,28,29,30, le vieillissement et le développement ^6,31,32, les performances scolaires^8,33, et compétences en musique et sports³⁴. En 1995, Peters et al. ont publié une étude avec des chiffres redessinés pour le VKMRT^35,36. De même, à la suite de la conception de tâches « identiques ou différentes », une variété d’autres bibliothèques de stimuli générés par ordinateur ont été utilisées pour étudier les processus RM et pour évaluer les capacités RM (versions 3D des stimuli SM originaux 19,22,23,37,38, corps humain imitant les figures SM 25,39,40, polygones plats pour la rotation ^{2D 41, 42}, l’anatomie et les organes⁴³, les formes organiques⁴⁴, les molécules^45,46, entre autres²¹). Le Purdue Spatial Visualization Test (PSVT) proposé par Guay en 1976⁴⁷ est également pertinent. Il implique une batterie de tests, y compris MR (PSVT :R). Utilisant des stimuli différents de ceux de VKMRT, PSVT :R demande aux participants d’identifier une opération de rotation dans un stimulus modèle et de l’appliquer mentalement à un autre. PSVT :R est également largement utilisé, en particulier dans les études portant sur le rôle de la RM dans la réalisation des STEM 48,49,50.

La deuxième avancée de grande importance dans les travaux fondamentaux de Shepard et Metzler comprend les contributions à la compréhension du processus MR, en particulier, avec l’utilisation de dispositifs de suivi oculaire. En 1976, Just et Carpenter¹⁴ ont utilisé un équipement de suivi oculaire basé sur la vidéo analogique pour mener une étude basée sur l’expérience ADE de Shepard et Metzler. À partir de leurs résultats sur les mouvements oculaires saccadiques et les RT, ils ont proposé un modèle de processus RM composé de trois phases : 1) la phase de recherche, au cours de laquelle des parties similaires des figures sont reconnues ; 2) la phase de transformation et de comparaison, au cours de laquelle l’une des pièces identifiées fait l’objet d’une rotation mentale ; 3) la phase de confirmation, au cours de laquelle il est décidé si les chiffres sont identiques ou non. Les phases sont répétées de manière récursive jusqu’à ce qu’une décision puisse être prise. Chaque pas correspond à des mouvements oculaires saccadiques et fixationnels spécifiques en relation étroite avec les ADE observés. Ainsi, en corrélant l’activité oculaire aux données chronométriques, Just et Carpenter ont fourni une signature cognitive pour l’étude des processus RM. À ce jour, ce modèle, bien qu’avec des adaptations, a été adopté dans plusieurs études 15,42,46,51,52,53.

Suivant cette piste, plusieurs études ont suivi l’activité comportementale 18,19,22,23,25,34,40,54,55 et l’activité cérébrale 20,22,56,57 fonctions pendant la rotation des stimuli ont été effectuées. Leurs résultats mettent en évidence un rôle coopératif entre l’IRM et les processus moteurs. De plus, il y a un intérêt croissant pour l’étude de stratégies de résolution de problèmes impliquant la RM en relation avec les différences individuelles 15,41,46,51,58.

Dans l’ensemble, on peut considérer que la conception d’études visant à comprendre les processus RM est basée sur la présentation d’une tâche avec des stimuli visuels qui demandent aux participants d’effectuer une opération MR qui, à son tour, implique une réaction motrice. Si cette réaction permet la rotation des stimuli, on parle souvent de rotation physique (RP). En fonction des objectifs spécifiques de chaque étude, différentes stratégies et dispositifs ont été utilisés pour l’acquisition de données et l’analyse de la RM et de la RP. Dans l’étape de présentation du stimulus de la tâche, il est possible de changer les types de stimuli (c’est-à-dire les exemples précédemment cités) ; la projection (images de synthèse dans des écrans traditionnels 22,23,25,29,40,41,59, ainsi que dans des environnements de stéréoscopes¹⁹ et de réalité virtuelle ⁶⁰ et mixte ⁴³) ; et l’interactivité des stimuli (images statiques 12,27,36, animations⁶¹ et objets virtuels interactifs 19,22,23,43,53,59).

L’IRM est généralement déduite des mesures des RT (ADE), ainsi que de l’activité oculaire et cérébrale 25,46,62. L’activité oculaire est mesurée à l’aide de données de suivi oculaire composées de mouvements saccadiques et de fixations 14,15,42,51,52,54,58,60, ainsi que de la pupillométrie ⁴⁰. Les données RT proviennent généralement des données de réponse du moteur enregistrées lors de l’utilisation de divers appareils tels que les leviers¹³, les boutons et interrupteurs^14,53, les pédales⁵³, les boutons rotatifs¹⁹, les joysticks³⁷, le clavier⁶¹ et la souris^29,58,60, les roues motrices⁵³, les capteurs inertiels^22,23, les écrans tactiles^52,59et microphones²². Pour mesurer la RP, en plus des RT, la conception de l’étude comprendra également l’enregistrement des rotations manuelles de stimuli interactifs pendant que les participants effectuent la tâche MR 22,23,52,53.

En 1998, Wohlschläger et Wohlschläger¹⁹ ont utilisé des tâches « identiques ou différentes » avec des stimuli SM virtuels interactifs manipulés à l’aide d’un bouton, avec des rotations limitées à un axe par tâche. Ils ont mesuré la RT et l’enregistrement cumulatif des rotations physiques effectuées pendant les tâches. En comparant des situations avec et sans rotation réelle des stimuli interactifs, ils ont conclu que la RM et la RP partagent un processus commun pour les rotations imaginées et réellement effectuées.

En 2014, deux études ont été menées en utilisant le même type de tâches avec des stimuli interactifs virtuels^22,23. Cependant, les objets ont été manipulés avec des capteurs inertiels qui capturaient le mouvement dans l’espace 3D. Dans les deux cas, en plus des RT, les trajectoires de rotation ont été enregistrées - l’évolution des différences de rotation entre les stimuli de référence et interactifs au cours des tâches. À partir de ces trajectoires, il a été possible d’extraire à la fois des informations cumulatives (c’est-à-dire le nombre total de rotations, en unités quaternioniques) et des informations détaillées sur les stratégies de solution. Adams et ^al.23 ont étudié l’effet coopératif entre la RM et la RP. En plus des RT, ils ont utilisé l’intégrale des trajectoires de rotation comme paramètre de précision et d’objectivité de la résolution. Les profils de courbes ont été interprétés selon un modèle en trois étapes⁶³ (planification, rotation majeure, réglage fin). Les résultats indiquent que la RM et la RP n’ont pas nécessairement un seul facteur commun. Gardony et ^coll.22 ont recueilli des données sur la RT, la précision et la rotation en temps réel. En plus de confirmer la relation entre la RM et la RP, l’analyse des trajectoires de rotation a révélé que les participants manipulaient les figures jusqu’à ce qu’ils puissent identifier si elles étaient différentes ou non. S’ils étaient identiques, les participants les faisaient pivoter jusqu’à ce qu’ils se ressemblent.

Poursuivant cette stratégie, en 2018, Wetzel et Bertel⁵² ont également utilisé des figures SM interactives dans des tâches « identiques ou différentes » en utilisant des tablettes à écran tactile comme interface. De plus, ils ont utilisé un dispositif de suivi oculaire pour obtenir des données cumulatives sur le temps de fixation et l’amplitude saccadique comme paramètres de la charge cognitive impliquée dans la résolution des tâches d’IRM. Les auteurs ont confirmé les études précédentes discutées ci-dessus concernant les relations entre la RM et la RP et les processus de résolution de tâches. Cependant, dans cette étude, ils n’ont pas utilisé de données de cartographie de fixation et de saccades pour les stimuli.

Des approches méthodologiques pour cartographier les données de suivi oculaire sur des objets 3D virtuels ont été proposées et constamment améliorées, généralement par des chercheurs intéressés par l’étude des facteurs liés à l’attention visuelle dans les environnements virtuels⁶⁴. Bien qu’elles soient abordables et qu’elles utilisent des dispositifs de suivi oculaire similaires, ces méthodes n’ont apparemment pas été intégrées efficacement dans le répertoire expérimental utilisé dans les études de rotation mentale avec des objets 3D interactifs tels que ceux mentionnés précédemment. À l’inverse, nous n’avons pas trouvé d’études dans la littérature rapportant la cartographie en temps réel des données de mouvement de fixation et de saccade sur des objets 3D interactifs. Il ne semble pas y avoir de méthode pratique pour intégrer facilement les données d’activité oculaire aux trajectoires de rotation. Dans cette recherche, nous visons à contribuer à combler cette lacune. La procédure est présentée en détail, de l’acquisition des données à la génération de sorties graphiques.

Dans cet article, nous décrivons en détail une méthode d’étude des processus de rotation mentale avec des objets 3D interactifs virtuels. Les avancées suivantes sont soulignées. Tout d’abord, il intègre la collecte de données comportementales quantitatives (rotation d’objets pilotée à la main via une interface informatique) et oculaires (eye-tracking) lors de sessions d’interaction avec des modèles virtuels 3D. Deuxièmement, il ne nécessite que du matériel informatique conventionnel et des dispositifs de suivi oculaire pour la conception visuelle des tâches, l’acquisition de données, l’enregistrement et le traitement. Troisièmement, il génère facilement une sortie graphique pour faciliter l’analyse des données - disparité angulaire, rotation physique, trajectoires de rotation quaternionique et cartographie des données de suivi oculaire sur des objets virtuels 3D. Enfin, la méthode ne nécessite que des logiciels libres. Tout le code et les scripts développés sont disponibles gratuitement (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocole

1. Préparation des outils de collecte de données

1. Configurez la collecte de données en ligne (facultatif).
   REMARQUE : Cette étape décrit comment configurer un clone personnalisable du code du projet et de la page Web de travail (reportez-vous à Dossier supplémentaire 1). Cette étape a été adaptée des tutoriels disponibles sur https://pages.github.com/ et https://github.com/jamiewilson/form-to-google-sheets. Si les utilisateurs ne s’intéressent qu’à la méthode de traitement des données et non à l’enregistrement des données, ils peuvent utiliser le https://rodrigocnstest.github.io/iRT_JoVE.html de la page web, ainsi queTableau supplémentaire S1 et les fichiers du référentiel à https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, et ignorez les étapes 1.1, 1.2 et ses sous-étapes.
   1. Connectez-vous à GitHub (https://github.com/).
   2. Créez un clone public du dépôt GitHub pages d’origine.
      1. Cliquez sur Importer le référentiel à partir de https://github.com lorsque vous êtes connecté au compte.
      2. Dans le champ URL de clonage de votre ancien dépôt, collez l’URL https://github.com/rodrigocns/rodrigocns_JoVE dans le champ Nom du dépôt , tapez username.github.io, où nom d’utilisateur est le nom d’utilisateur utilisé dans le compte, et assurez-vous que l’option Public est activée. Ensuite, cliquez sur le bouton vert Commencer l’importation.
         REMARQUE : Le dépôt contient maintenant la plupart des fichiers nécessaires pour le reste de cette configuration, et toutes les modifications apportées au dépôt seront mises à jour sur le site Web après quelques minutes. À titre d’exemple, l’utilisateur nommé rodrigocnstest accède à sa propre page à l’https://rodrigocnstest.github.io et à son dépôt GitHub à l’https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Configurez une feuille de calcul cloud pour stocker les données de l’expérience en ligne.
      1. Inscrivez-vous ou connectez-vous à un compte Google.
      2. Une fois connecté au compte, rendez-vous dans le fichier propre des feuilles de calcul iRT disponible à l’adresse https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit ?usp=partage.
      3. Dans cette feuille de calcul, cliquez sur Fichier | Faites une copie. Une petite fenêtre de confirmation apparaîtra.
      4. À l’intérieur de la petite fenêtre, donnez un nom au fichier et cliquez sur le bouton Faire une copie .
   4. Configurez un script Google Apps pour automatiser le stockage des données dans la feuille de calcul que vous avez créée.
      1. À l’intérieur du fichier de la feuille de calcul, cliquez sur l’option Extension | Script d’applications.
         REMARQUE : Ce script doit être créé ou accessible à partir de la feuille de calcul afin d’y être associé. La tentative de création d’un script externe peut ne pas fonctionner.
      2. Cliquez sur le bouton Exécuter pour exécuter le script pour la première fois.
      3. Cliquez sur le bouton Vérifier les autorisations . Une nouvelle fenêtre apparaîtra. Cliquez sur le même compte que celui utilisé lors de la création de la feuille de calcul.
         REMARQUE : Si c’est la première fois que cette étape est effectuée, une alerte de sécurité peut s’afficher pour avertir l’utilisateur que l’application demande l’accès aux informations du compte. Il est sûr car l’application essaie d’atteindre le contenu de la feuille de calcul et demande l’autorisation de la remplir de données. Si aucun avertissement ne s’affiche, l’étape 1.1.4.4 peut être ignorée.
      4. Cliquez sur Avancé | Aller à De l’iRT aux feuilles (non sécurisé) | Autoriser .
         REMARQUE : Après l’exécution, un avis indiquant que l’exécution est terminée doit apparaître dans le journal d’exécution.
      5. Dans le panneau coulissant de gauche, cliquez sur le bouton Déclencheurs (la quatrième icône de haut en bas) | + Ajouter un déclencheur .
      6. Sous Choisir la fonction à exécuter, choisissez doPost ; sous Sélectionner la source de l’événement, sélectionnez À partir de la feuille de calcul ; sous Sélectionner le type d’événement, choisissez Lors de l’envoi du formulaire. Cliquez ensuite sur Enregistrer. Si des fenêtres contextuelles d’autorisation apparaissent, suivez les étapes 1.1.4.3-1.1.4.4. Si le navigateur finit par bloquer la fenêtre contextuelle, débloquez-la.
      7. Cliquez sur le bouton déroulant Déployer | Nouveau déploiement.
      8. Passez la souris sur l’icône d’engrenage et assurez-vous que l’option Application Web est sélectionnée.
      9. Écrivez une description dans le champ Nouvelle description , par exemple Déploiement 1 ; dans le champ Qui a accès , sélectionnez Tout le monde , puis cliquez sur le bouton Déployer .
         REMARQUE : Le but du champ Nouvelle description est d’organiser les déploiements de scripts. Il peut être nommé selon les souhaits du lecteur, par exemple Premier déploiement. Le champ Exécuter en tant que doit déjà apparaître sous la forme Moi(email), où email est l’email utilisé jusqu’à présent.
      10. Dans la nouvelle fenêtre contextuelle, copiez l’URL de l’application Web du déploiement du script.
          REMARQUE : Si, pour une raison quelconque, vous finissez par perdre l’URL de l’application Web copiée, récupérez-la en cliquant sur le menu déroulant Déployer | Gérez les déploiements. L’URL de l’application Web doit s’y trouver.
      11. Accédez à la page de https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js où rodrigocnstest est le nom d’utilisateur utilisé sur GitHub. Remplacez l’URL existante à la ligne 5 par l’URL de l’application Web copiée à l’étape 1.1.4.10, puis cliquez sur le bouton vert Valider les modifications....
          REMARQUE : La valeur de l’URL copiée doit rester entre guillemets simples ' ' ou doubles '''. Vérifiez que l’URL copiée est la bonne à partir de l’application Web.
      12. Enfin, cliquez sur le bouton de confirmation Valider les modifications au milieu de l’écran.
   5. Assurez-vous que le processus a été effectué correctement et que la page fonctionne.
      1. Accédez au référentiel à l’https://github.com/username/username.github.io/, où le nom d’utilisateur est le nom d’utilisateur utilisé sur GitHub, et vérifiez si le déploiement a été mis à jour après les modifications apportées à l’étape 1.4.14.
      2. Accédez à la page web à l’https://username.github.io/iRT_JoVE, remplacez le nom d’utilisateur par le nom d’utilisateur utilisé dans GitHub, puis cliquez sur Suivant.
      3. Cliquez sur Aller, effectuez n’importe quelle interaction en cliquant et en faisant glisser l’objet sur la droite avec la souris, puis cliquez sur le bouton TERMINÉ ! .
      4. Revenez au fichier de feuille de calcul configuré aux étapes 1.1.3 et 1.1.4 et vérifiez la présence d’une nouvelle ligne de données ajoutée à chaque fois que vous appuyez sur le bouton DONE .
2. Configurer l’acquisition de données hors ligne (facultatif).
   REMARQUE : La méthode destinée à l’exécution et à l’acquisition des données de la tâche de rotation interactive (iRT) est en ligne via les services cloud configurés dans les étapes décrites ci-dessus. Si vous le souhaitez (puisque la connexion Internet peut être un problème ou pour avoir une autre façon de l’exécuter), il est également possible d’exécuter le test localement avec ou sans connexion Internet à l’endroit où le test sera exécuté. Les étapes suivantes sont facultatives et décrivent comment y parvenir. Sinon, passez à l’étape 1.3.
   1. Accédez au référentiel GitHub à l’adresse suivante : https://github.com/rodrigocnstest/rodrigocnstest.github.io. Cliquez sur le bouton vert < > Code | Téléchargez ZIP, puis décompressez les fichiers téléchargés.
      REMARQUE : Les modifications apportées aux fichiers stockés localement ne modifieront pas les fichiers du référentiel et vice versa. Toutes les modifications destinées aux deux versions doivent être appliquées aux deux emplacements, soit en copiant manuellement les fichiers mis à jour, soit en utilisant git/GitHub desktop.
   2. Obtenez la dernière version de Mozilla Firefox via le lien : https://www.mozilla.org/en-US/firefox/new/.
   3. Ouvrez le navigateur Mozilla Firefox, entrez « about :config » dans l’emplacement de l’URL, entrez « security.fileuri.strict_origin_policy » dans le champ de recherche et changez sa valeur en false. REMARQUE : Maintenant, Mozilla Firefox dans le système d’exploitation Windows devrait être en mesure d’accéder localement aux fichiers de la page Web téléchargée sur votre ordinateur. D’autres navigateurs et systèmes d’exploitation peuvent être configurés pour fonctionner localement, chacun avec sa configuration décrite sur le lien http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Configurez l’outil de traitement des données.
   1. Téléchargez et installez la dernière version de GNU Octave à https://octave.org/download.
4. Configurez le dispositif de suivi oculaire.
   1. Assurez-vous que le logiciel du système d’enregistrement est installé sur l’ordinateur portable.
   2. Assurez-vous que la salle de recherche est propre et bien organisée pour éviter les distractions.
   3. Utilisez un éclairage artificiel dans la pièce pour maintenir un éclairage constant tout au long de la journée.
   4. Installez l’ordinateur sur une table et assurez-vous que le participant peut déplacer la souris confortablement.
   5. Fournissez au participant une chaise confortable, de préférence une chaise fixe, afin de minimiser les mouvements pendant le test.
   6. Connectez un câble USB pour alimenter l’éclairage infrarouge et un autre câble USB entre l’ordinateur portable/ordinateur et l’oculomètre de l’appareil photo.
   7. Placez l’eye tracker sous l’écran.

2. Collecte des données

1. Initialisez le logiciel de collecte de données.
   1. Exécutez le logiciel de suivi oculaire sur l’ordinateur pour recevoir des données de l’ocumètre.
   2. Sélectionnez l’option Capture d’écran dans la fenêtre principale du logiciel pour capturer le regard pendant l’expérience (il est également possible d’utiliser ce logiciel pour la visualisation de cartes thermiques et l’exportation de données brutes).
   3. Cliquez sur Nouveau projet pour créer un nouveau projet et un dossier de projet où les données doivent être enregistrées.
   4. Ouvrez la page de test à l’https://rodrigocnstest.github.io/iRT_JoVE.html si vous utilisez celle proposée à titre d’exemple ou la page créée à l’étape 1.1. Vous pouvez également ouvrir le fichier iRT_JoVE.html localement à partir du navigateur précédemment configuré à l’étape 1.2.
   5. Si nécessaire, remplissez les champs Nom et E-mail pour faciliter l’identification des données, et cochez la case pour télécharger une copie de sauvegarde des données produites.
      REMARQUE : Si vous utilisez la méthode hors ligne (étape 1.2), il est conseillé de télécharger les copies de sauvegarde.
   6. Essayez d’exécuter l’expérience une fois pour vous assurer que le navigateur chargera correctement les éléments et qu’il n’y a aucun problème avec les tâches présentées ou l’acquisition de données.
2. Exécutez l’expérience.
   1. Expliquez au participant le but de l’expérience, la technologie utilisée et les critères d’inclusion ou d’exclusion. Assurez-vous que le participant a tout compris. Demandez au participant de remplir le formulaire de consentement.
   2. Demandez au participant de s’asseoir devant le système de suivi oculaire et de se mettre aussi à l’aise que possible.
   3. Déplacez la chaise pour assurer une distance optimale entre le participant et la caméra (la longueur idéale est de 65 cm entre l’eye-tracker et les yeux du participant).
   4. Demandez au participant de rester aussi immobile que possible pendant l’expérience. Ajustez la hauteur de la caméra pour capturer correctement les pupilles du participant (certains logiciels mettent en évidence la pupille pour montrer la réflexion cornéenne).
   5. Cliquez sur Activer le gain automatique pour optimiser le suivi des pupilles en modifiant le gain de la caméra jusqu’à ce que les pupilles soient trouvées (certains logiciels n’ont pas cette option).
   6. Demandez au participant de regarder une série de points à l’écran et de suivre le mouvement du point sans bouger la tête.
   7. Cliquez sur Calibrer pour commencer l’étalonnage (cela garantira que l’eye-tracker peut suivre l’endroit où le participant regarde l’écran).
      REMARQUE : L’écran deviendra vide et un marqueur d’étalonnage (point) se déplacera sur cinq positions sur l’écran.
   8. Après l’étalonnage, une estimation visuelle du point de vue sera dessinée à l’écran pour vérifier la précision de l’étalonnage. Demandez au participant de regarder un point spécifique sur l’écran pour voir si le regard s’affichera correctement.
   9. Si l’étalonnage n’est pas satisfaisant, ajustez l’appareil photo et réessayez l’étalonnage jusqu’à ce que le système suive le regard de manière appropriée.
   10. Cliquez sur le bouton Collecter des données sur le côté droit du logiciel de suivi oculaire (menu principal) pour activer le mode de collecte de données. L’affichage en temps réel de l’écran capturé sera présenté avec les données de regard affichées dans la fenêtre d’affichage principale.
   11. Cliquez sur le bouton Vidéo du regard dans le menu principal pour afficher le visage de l’utilisateur capturé par l’eye tracker. Ensuite, cliquez sur Démarrer l’enregistrement pour commencer l’expérience.
       REMARQUE : Pendant l’expérience, la pupille du participant est mise en évidence et son œil est affiché sous la forme d’un point se déplaçant sur l’écran de l’ordinateur portable. Assurez-vous que l’oculomètre suit la pupille et l’œil sur l’écran.
   12. Si le point disparaît ou scintille fréquemment, arrêtez l’expérience et essayez à nouveau de calibrer.
   13. Ouvrez la fenêtre d’iRT précédemment ouverte et demandez au participant de cliquer sur Suivant.
   14. Donnez les instructions suivantes au participant : « Dans cette section, vous effectuerez trois tâches de rotation. Lorsque vous cliquez sur le bouton GO ! , deux objets apparaîtront sur les côtés opposés de l’écran. Votre objectif est de faire pivoter l’objet sur la droite jusqu’à ce qu’il corresponde étroitement à l’objet sur la gauche du mieux que vous le pouvez. Pour faire pivoter l’objet, cliquez et faites glisser votre souris dessus. Lorsque vous avez terminé chacune des trois tâches, cliquez sur le bouton TERMINÉ ! pour conclure.
       REMARQUE : Pour chaque tâche, toutes les données iRT au-delà de la marque des 5 minutes (327^e seconde exactement) peuvent être perdues. Au fur et à mesure que nous développons la méthode, cette limite devrait être élargie.
   15. À la fin de l’expérience, assurez-vous que l’eye tracker est éteint à partir du câble d’extension et remettez le capuchon d’objectif sur l’appareil photo.
3. Extrayez les données.
   1. Une fois la collecte des données de l’eye-tracker terminée, cliquez sur Analyser les données pour accéder aux données collectées.
   2. Exportez un fichier .csv avec toutes les données enregistrées pour l’utilisateur.
      REMARQUE : La première colonne de données de suivi oculaire doit correspondre à l’époque UNIX des données, car c’est le seul moyen de faire correspondre correctement différents ensembles de données dans le temps. Si le fichier n’en contient pas, il doit être converti à partir de toute autre norme de temps utilisée. Le fichier peut être au format « .csv » ou « .xlsx ».
   3. Si vous utilisez la version en ligne de la page interactive des tâches de rotation (étape 1.1), ouvrez le fichier Google Sheets utilisé pour recevoir les données en ligne (créé à l’étape 1.1.3) et téléchargez-le en cliquant sur Fichier | Télécharger | Microsoft Excel (.xlsx).
      REMARQUE : Ces données sont packagées pour faciliter le transfert des données (chaque tâche correspond à une ligne remplie de données). Pour traiter les données à l’intérieur, chaque ligne de données empaquetées doit d’abord être « décompressée ».

3. Traitement et analyse des données

1. Dépackagez, fusionnez et traitez les données.
   REMARQUE : Les étapes suivantes décrivent comment traiter les données à l’aide des scripts fournis (reportez-vous au fichier supplémentaire 2). Les scripts GNU Octave inviteront l’utilisateur à entrer ses fichiers. Si les entrées sont envoyées vides, les valeurs par défaut, référençant les exemples de données fournis si aucune donnée utilisateur ne les a remplacées, seront utilisées à la place. Une fois l’exécution du script terminée, il peut être fermé.
   1. Téléchargez et décompressez le dépôt utilisé (le sien ou l’original à https://github.com/rodrigocns/rodrigocns_JoVE) s’il n’a pas encore été téléchargé.
   2. Assurez-vous que les scripts 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D rotational trajectory.m et les modèles de dossier se trouvent à l’intérieur du référentiel téléchargé dans le dossier Octave, puis déplacez les fichiers de données téléchargés à partir des étapes 2.3.2 et 2.3.3 vers ce même dossier où se trouvent les scripts d’octave.
      REMARQUE : Tous les fichiers existants déjà dans le dossier portant les mêmes noms que les fichiers nouvellement écrits peuvent être écrasés. Renommez ou déplacez les fichiers vers un autre dossier en conséquence.
   3. Ouvrez le script 1.unpacking_sheets.m avec le lanceur GNU Octave. Dans l’onglet Éditeur , exécutez le script en cliquant sur le bouton vert Enregistrer le fichier et exécuter , pour décompresser les données dans une structure plus lisible.
      REMARQUE : Si l’un des fichiers de données demandés est ouvert localement, n’oubliez pas de le fermer avant d’exécuter le script. Tous les fichiers de script .m ont été exécutés à l’aide du lanceur GNU Octave.
   4. Deux invites apparaîtront, l’une après l’autre. Entrez le nom du fichier téléchargé dans la première invite et le nom du fichier non empaqueté dans le deuxième champ. Vous pouvez également laisser les deux champs d’invite vides pour utiliser les noms par défaut destinés aux fichiers d’exemple inclus. Attendez quelques minutes (en fonction du volume de données) pour qu’une fenêtre contextuelle informe l’utilisateur que le processus est terminé et que le nouveau fichier a été écrit.
   5. Ouvrez et exécutez le script 2.data_merge_and_process.m pour fusionner les données de l’eye tracker et de l’iRT.
      REMARQUE : Bien que ce script soit complexe et qu’il englobe des centaines de lignes de code, il est divisé en trois sections principales : les paramètres, les fonctions et les scripts. Tous sont commentés et expliqués en détail, ce qui facilite les modifications futures, si nécessaire.
   6. Quatre invites apparaîtront. Entrez la valeur sessionID, la valeur taskID (toutes deux à partir de la table de données iRT), le nom de fichier de données iRT non empaquetées (écrit à l’étape 3.1.5) et le nom de fichier de données de suivi oculaire (exporté à l’étape 2.3.2) ou laissez-les vides pour utiliser les valeurs par défaut.
      REMARQUE : Après quelques minutes, une fenêtre contextuelle d’aide indiquera que le script a terminé le calcul et les noms des fichiers utilisés et créés. Trois exemples de tracés de disparité angulaire apparaîtront au cours du processus de script : un graphique simple, un graphique avec des données de regard coloré et un graphique avec des données de diamètre de pupille. Les deux fichiers créés sont output merge X Y.xlsx et output jmol console X Y.xlsx, où X est la valeur sessionID et Y est la valeur taskID , tous deux écrits au début de l’étape 3.1.6.
2. Rendu d’images de trajectoire de rotation 3D.
   1. Ouvrez et exécutez le script 3.3D rotation trajectory.m.
   2. Trois invites apparaîtront. Entrez la valeur sessionID, la valeur taskID et le nom de fichier de données iRT non empaquetés, ou laissez-les vides pour utiliser les valeurs par défaut.
      REMARQUE : Un graphique 3D apparaîtra. Le graphique rendu est la trajectoire de rotation 3D de la session et de la tâche spécifiées.
3. Rejouez les animations.
   1. Pour rejouer l’interaction de la tâche du participant, accédez d’abord à la page Web interactive de la tâche, démarrez le test (montrant les deux modèles 3D), déplacez le pointeur de la souris dans le coin supérieur droit de l’écran jusqu’à ce que l’icône de la souris se transforme en texte, comme illustré dans le fichier supplémentaire 2, puis cliquez sur le texte de débogage invisible, activant le mode de débogage.
   2. À partir des boutons qui apparaissent entre les modèles, cliquez sur le bouton timerStop pour interrompre la tâche et cliquez sur le bouton de la console pour ouvrir la console JSmol du modèle à droite. Si la tâche de l’interaction qui vous intéresse n’est pas la première, cliquez sur les boutons numérotés à l’intérieur de la zone de débogage supérieure pour modifier la tâche affichée à l’écran.
      REMARQUE : JSmol est le logiciel de modélisation moléculaire utilisé sur la page Web.
   3. Ouvrez le fichier de sortie jmol console.xlsx et copiez la page entière des commandes Jmol.
      REMARQUE : Chaque page contient des commandes pour une scène ou une animation différente.
   4. Dans la console JSmol, collez la liste des commandes copiées et cliquez sur le bouton Exécuter ou appuyez sur la touche Entrée du clavier pour l’exécuter.
   5. Si vous le souhaitez, générez une animation .gif. Écrivez la commande capture « filename » SCRIPT « output » dans la console JSmol, où filename est le nom du fichier .gif à créer et output est la liste complète des commandes copiées à l’étape 3.3.3, en gardant les deux entre guillemets doubles.
      REMARQUE : Plus les commandes deviennent complexes, avec des modèles plus grands ou plus de changements dans le temps, et moins les spécifications de l’ordinateur utilisé sont puissantes, plus l’animation deviendra lente. Jmol se concentre sur la visualisation des composés chimiques et des réactions, et le type d’animations produites par nos recherches repousse les limites des capacités de rendu de Jmol. Ces points doivent être pris en compte et pris en compte lors de toute mesure quantitative dans le cadre de cette animation.

4. Personnalisation des tâches

REMARQUE : Toute cette section est facultative et uniquement recommandée pour ceux qui aiment expérimenter ou comprendre comment coder. Vous trouverez ci-dessous quelques-unes des nombreuses options personnalisables disponibles, et d’autres options seront disponibles au fur et à mesure que nous développerons les méthodes.

1. Configurez des tâches nouvelles ou existantes.
   1. Définissez le nombre de tâches interactives qui seront exécutées par le participant et nommez chacune d’entre elles dans le fichier object_configs.js à l’intérieur du tableau task_list remplaçant les noms d’éléments existants ou en ajoutant d’autres. Assurez-vous que chaque nom est unique, car il est utilisé ultérieurement comme identificateur.
   2. Choisissez des fichiers de coordonnées 3D compatibles JSmol pour effectuer les tâches interactives (http://wiki.jmol.org/index.php/File_formats). Copiez ces fichiers dans le dossier models.
      REMARQUE : Les scripts inclus dans cet article sont optimisés pour les modèles asymétriques utilisant le format de fichier .xyz. Lorsque vous choisissez des fichiers de coordonnées, évitez les symétries de rotation car elles ont des solutions ambiguës⁶⁵.
   3. Définissez les paramètres de rendu des objets 3D dans la fonction prepMolecule(num).
      NOTE : Toutes les modifications d’une tâche à l’autre effectuées par JSmol se passent ici : modification du motif de couleur, modification de la taille ou de la façon dont les éléments graphiques sont rendus, orientation, translation, masquage de parties de l’objet, chargement de nouveaux modèles 3D, etc. (pour plus d’exemples, voir https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Chaque tâche nommée dans task_list correspond à un cas. Chaque commande à exécuter par JSmol suit la structure suivante : Jmol.script( jsmol_obj , " jsmol_command1 ; jsmol_command2 ") ; où jsmol_obj fait référence à l’objet en cours de modification (jsmol_ref et jsmol_obj étant la valeur par défaut pour les objets cibles et interactifs) suivie d’une ou plusieurs commandes séparées par un « ; ».
2. Créez de nouveaux modèles.
   1. Utilisez n’importe quel modèle .xyz téléchargé en ligne ou construit par des éditeurs moléculaires tels que Avogadro (https://avogadro.cc/).

Résultats

Évolution de la disparité angulaire et d’autres variables
Comme illustré à l’étape 3.3.1 du fichier supplémentaire 2, deux canevas sont présentés au participant sur l’écran du moniteur vidéo, affichant des copies du même objet virtuel 3D dans des orientations différentes. Sur le canevas de gauche, l’objet cible (tObj) reste statique et sert de position cible ou de position tObj. Sur le canevas de droite, l’objet ...

Discussion

Comme indiqué précédemment, cet article vise à présenter une procédure détaillée de cartographie en temps réel des données de mouvement de fixation et de saccade sur des objets 3D interactifs, qui est facilement personnalisable et n’utilise que des logiciels disponibles gratuitement, fournissant des instructions étape par étape pour que tout fonctionne.

Bien que cette configuration expérimentale impliquait une tâche hautement interactive, comme...

matériels

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.