Expériences de réalité virtuelle avec mesures physiologiques

Résumé

Expériences de réalité virtuelle (VR) peuvent être difficiles à mettre en œuvre et nécessitent une planification méticuleuse. Ce protocole décrit une méthode pour la conception et la mise en oeuvre d’expériences VR qui recueillent des données physiologiques des participants humains. Les expériences dans le cadre d’environnements virtuels (EVE) est utilisée pour accélérer ce processus.

Résumé

Expériences de réalité virtuelle (VR) sont plus en plus employés en raison de leur validité interne et externe par rapport à l’observation du monde réel et des expériences en laboratoire, respectivement. VR est particulièrement utile pour les enquêtes de comportement spatial et visualisations géographiques. Dans la recherche sur le comportement spatial, VR fournit une plate-forme pour l’étude de la relation entre la navigation et des mesures physiologiques (p. ex.., fréquence cardiaque, la conductance de la peau, la tension artérielle). Plus précisément, mesures physiologiques permettent aux chercheurs de traiter les questions nouvelles et contraindre les théories précédentes des aptitudes spatiales, les stratégies et les performances. Par exemple, les différences individuelles dans les performances de navigation peuvent s’expliquer par le degré auquel les changements dans l’excitation médient les effets de la difficulté de la tâche. Cependant, la complexité de la conception et la mise en oeuvre d’expériences VR peut distraire les expérimentateurs de leurs objectifs de recherche primaire et introduire des irrégularités dans la collecte de données et d’analyse. Pour relever ces défis, les expériences dans des environnements virtuels (EVE), framework inclut des modules standardisés comme participant de formation avec le contrôle de l’interface, collecte de données à l’aide de questionnaires, la synchronisation des physiologiques les mesures et stockage de données. EVE fournit également l’infrastructure nécessaire pour l’évaluation, la visualisation et la gestion des données. Le présent document décrit un protocole qui utilise le cadre de la veille à mener des expériences de navigation en VR avec capteurs physiologiques. Le protocole répertorie les étapes nécessaires pour les participants recrutement, fixation des capteurs physiologiques, administrer l’expérience à l’aide de la veille et évaluer les données collectées avec les outils d’évaluation de EVE. Dans l’ensemble, ce protocole facilitera les recherches futures en simplifiant la conception et la mise en oeuvre d’expériences VR avec capteurs physiologiques.

Introduction

Comprendre comment les individus accédez a des implications importantes pour plusieurs domaines, notamment les sciences cognitives^1,2,3, neuroscience^4,5et computer science^{6 , 7}. navigation a été étudiée dans des environnements réels et virtuels. Un avantage des expériences du monde réel est que la navigation ne nécessite pas la médiation d’une interface de contrôle et donc risque de produire des comportement spatial plus réaliste. En revanche, expériences de réalité virtuelle (VR) permettant de mesurer les plus précis du comportement (par exemple., marche des trajectoires) et physiologiques (e.g., fréquence cardiaque) données, ainsi que contrôle plus expérimentale (i.e. interne validité). À son tour, cette approche peut entraîner des interprétations plus simples des données et théories ainsi plus robustes de la navigation. En outre, neurosciences peuvent bénéficier de VR parce que les chercheurs peuvent étudier les corrélats neurones de la navigation, alors que les participants sont engagés dans l’environnement virtuel mais ne peut pas se déplacer physiquement. Pour informaticiens, navigation en VR nécessite des développements uniques dans la puissance de traitement, mémoire et infographie afin d’assurer une expérience immersive. Résultats d’expériences VR peuvent également être appliquées en architecture et en cartographie, en informant la conception du bâtiment mises en page⁸ et carte de fonctionnalités⁹ pour faciliter la navigation du monde réel. Récemment, les avancées en technologie VR combinée à une baisse spectaculaire dans son coût ont conduit à une augmentation du nombre de laboratoires qui emploient les VR pour leurs conceptions expérimentales. En raison de cette popularité croissante, les chercheurs doivent examiner les moyens de rationaliser la mise en œuvre d’applications de VR et de normaliser le flux de travail expérience. Cette approche aidera les ressources de mise en œuvre au développement de la théorie et étend les capacités existantes de VR.

Configurations VR peuvent varier de plus au moins réaliste en termes d’affichage et commande. Configurations VR plus réalistes tendent à exiger des infrastructures supplémentaires comme le suivi des grands espaces et à haute résolution affiche¹⁰. Ces systèmes emploient souvent redirigés à quelques algorithmes afin d’injecter des rotations imperceptibles et traductions dans la rétroaction visuelle fournie aux utilisateurs et agrandir efficacement l’environnement virtuel par l’intermédiaire de laquelle les participants peuvent se déplacer^{11 , 12}. ces algorithmes peuvent être généralisés dans qu’ils ne nécessitent pas la connaissance de l’environnement structure¹³ ou prédictive en ce qu’ils supposent des chemins particuliers pour l' utilisateur¹⁴. Bien que la plupart des recherches sur la redirection marche a utilisé affichage tête-monté (HMDs), certains chercheurs emploient une version de cette technique avec marche en place dans le cadre d’un système de projection grand (e.g., grottes)¹⁵. Tandis que HMDs peuvent être transporté sur la tête du participant, grotte écrans ont tendance à offrir un plus large champ de vision horizontal^16,17. Cependant, moins infrastructure est nécessaire pour les systèmes VR à l’aide d’écrans de bureau^18,19. Recherches neuroscientifiques a également employé en combinaison avec l’imagerie de résonance magnétique fonctionnelle (IRMf) lors de la numérisation de²⁰, en combinaison avec l’IRMf après la numérisation^21,22et en combinaison avec des systèmes VR électroencéphalographie (EEG) pendant l’enregistrement,^23,24. Cadres de logiciel sont nécessaires afin de coordonner la variété des affichages et des contrôles qui sont utilisés pour la recherche de navigation.

Recherche qui intègre les données physiologiques et VR pose des défis supplémentaires telles que l’acquisition de données et de synchronisation. Cependant, les données physiologiques permettant pour les enquêtes sur les processus implicites qui pourraient véhiculer la relation entre le comportement de navigation spatiale et potentiels. En effet, la relation entre le stress et de la navigation a été étudiée en utilisant desktop VR et une combinaison de différents capteurs physiologiques (i.e., fréquence cardiaque, pression artérielle, la conductance de la peau, cortisol salivaire et alpha-amylase)^{25 , 26 , 27 , 28}. par exemple, van Gerven et collègues²⁹ a étudié l’impact du stress sur la stratégie de navigation et performance en utilisant une version de la réalité virtuelle d’une tâche de labyrinthe de l’eau de Morris et plusieurs mesures physiologiques (p. ex.., la peau conductance, fréquence cardiaque, pression artérielle). Leurs résultats ont révélé que les stress prédit stratégie de navigation en ce qui concerne l’utilisation de point de repère (i.e., égocentrique et allocentrique) mais n’était pas liée à la performance de navigation. En général, les conclusions d’études antérieures sont quelque peu contradictoire au sujet de l’effet du stress sur les performances de navigation et de la mémoire spatiale. Ce modèle peut être attribuable à la séparation de l’agent stressant (par exemple., la procédure pressive froid²⁶, la tâche de suivi Star miroir²⁵) de la tâche réelle de navigation, l’utilisation de simples labyrinthique des environnements virtuels ( par exemple., virtual Morris water maze²⁶,²⁸de labyrinthe virtuel bras radial) et des différences de détails méthodologiques (e.g., type de facteurs de stress, type de données physiologiques). Différences dans le format de données physiologiques recueillies peuvent également être problématiques pour la mise en œuvre et l’analyse de ces études.

Les expériences dans le cadre des expériences virtuelles (EVE) facilite la conception, la réalisation et l’analyse des expériences VR, surtout ceux avec des périphériques supplémentaires (p. ex.., traqueurs de le œil, les appareils physiologiques)³⁰. Le cadre de la veille est librement disponible comme un projet open-source sur GitHub (https://cog-ethz.github.io/EVE/). Ce cadre repose sur le moteur de jeu 3D (https://unity3d.com/) l’unité populaire et le système de gestion de base de données MySQL (https://www.mysql.com/). Chercheurs peuvent utiliser le cadre de la veille afin de préparer les différentes étapes d’une expérience VR, y compris les questionnaires avant et après l’étude, des mesures de base pour toutes les données physiologiques, avec l’interface de contrôle, la tâche principale de navigation, de formation et essais de mémoire spatiale de l’environnement de navigation (p. ex.., jugements de la direction relative). Expérimentateurs peuvent également contrôler la synchronisation des données provenant de différentes sources et à différents niveaux d’agrégation (par exemple., à travers des essais, des blocs ou des séances). Les sources de données peuvent être physiques (i.e., connecté à l’utilisateur ; voir Table des matières) ou virtuel (c’est à dire., dépend des interactions entre avatar du participant et de l’environnement virtuel). Par exemple, une expérience peut exiger l’enregistrement de la fréquence cardiaque et position/orientation du participant lorsque avatar de ce participant se déplace dans une zone particulière de l’environnement virtuel. Toutes ces données est automatiquement stocké dans une base de données MySQL et évaluées avec les fonctions de relecture et de la R paquet evertools (https://github.com/cog-ethz/evertools/). Evertools fournit des fonctions-exportateurs, les statistiques descriptives élémentaires, et outils de diagnostic pour les distributions des données.

Le cadre de la veille peut être déployé avec une variété de systèmes de VR et infrastructures matérielles. Dans le présent protocole, les auteurs décrivent une implémentation particulière à la mission NeuroLab au ETH Zürich (Figure 1). La mission NeuroLab est un 12 m par 6 m pièce contenant une chambre isolée pour la réalisation d’expériences de l’EEG, une armoire contenant le système VR (2,6 m x 2,0 m) et une zone de rideaux pour la fixation des capteurs physiologiques. Le système VR comprend un écran de télévision 55" ultra haute définition, un ordinateur de jeu haut de gamme, une interface joystick de contrôle et plusieurs capteurs physiologiques (voir Table des matières). Dans les sections qui suivent, nous décrivons le protocole pour la conduite d’une expérience de navigation dans le NeuroLab en utilisant le cadre de la veille et les capteurs physiologiques, les présents résultats représentatifs d’une étude sur le stress et de la navigation et discuter des occasions et les défis associés à ce système.

Protocole

Le protocole suivant a été réalisé conformément aux lignes directrices approuvées par la Commission de déontologie de l’ETH Zürich, dans le cadre de la proposition EK 2013-N-73.

1. recruter et préparer les Participants

1. Sélectionner les participants avec la démographie particulière (p. ex.., âge, sexe, niveau de formation) à l’aide d’un système de recrutement de participants ou la liste de diffusion (e.g., UAST ; http://www.uast.uzh.ch/).
2. Communiquer avec les participants choisis. Dans ce courriel, rappeler les participants de l’heure de la session et les exigences. Laissez les participants savent qu’ils doivent porter un refrain dessu (pour la surveillance de la pression artérielle), ample de l’alcool pendant 12 h avant l’expérience et s’abstenir de plusieurs autres activités (i.e., caféine, tabac, alimentation et exercice) pendant 3 h avant l’expérience.

2. préparer l’expérience et physiologiques périphériques à l’aide de EVE

1. Avant chaque session expérimentale, démarrez l’ordinateur, le moniteur de l’expérimentateur et le moniteur de test.
2. S’assurer que le ventilateur de la chambre, le thermomètre et le moniteur de l’humidité sont.
3. Allumez la machine mesure l’activité électrodermiques (EDA) et l’électrocardiographie (ECG ; e.g., PowerLab de ADInstruments). Voir Table des matières.
4. Ouvrez le logiciel EDA/ECG (veille actuellement prise en charge de Labchart de ADInstruments) et créer un nouveau fichier de paramètres. Sélectionnez une fréquence d’échantillonnage de 1 000 Hz et le nombre de canaux (e.g., l’un pour l’EDA et l’autre pour ECG). Enregistrez ce fichier de paramètres et ré-enregistrer une version avec un nom différent pour chaque session expérimentale.
5. Pour les électrodes de l’EDA, effectuer un zéro à circuit ouvert (i.e., sans les électrodes attachées à quoi que ce soit) pour obtenir une mesure de la conductivité du système de base.
6. Veiller à ce que l’interface de contrôle (par exemple., manette de jeu) est connecté à l’ordinateur.
7. Sur le moniteur de l’expérimentateur, ouvrez le fichier exécutable de l’unité de l’expérience.
   1. Ouvrez le menu «Paramètres d’expérimenter» dans EVE et entrez les paramètres de l’expérience (p. ex.., numéro d’identification de participants, fichier de mesure physiologique, condition expérimentale, température ambiante et l’humidité).
   2. Cliquez sur «commencer l’expérience».

3. marche à suivre

1. Procédure d’introduction et de consentement
   1. Ramasser le participant dans le lieu de rencontre convenu et lui/elle guide au laboratoire.
   2. Indiquer que la session prendra environ 90 min et demander au participant pour stocker sa montre et/ou téléphone mobile.
   3. Demander au participant de s’asseoir dans le fauteuil expérimental et d’expliquer la procédure expérimentale selon le script verbal préparé.
   4. Demander au participant de lire la fiche d’information et de signer le formulaire de consentement éclairé.
2. Raccordement des capteurs EDA et ECG
   1. Nettoyer l’index et l’annulaire de la main non dominante avec un chiffon humide sans savon. S’assurer qu’ils sont secs et connecter les deux électrodes de l’EDA à la phalange médiale.
   2. Nettoyer la peau de la poitrine où les électrodes ECG seront placés avec un chiffon humide.
   3. Placer les électrodes de blancs, noirs et rouges sur le corps du participant entre les nervures selon la Figure 2. Placer l’électrode blanche sur l’abdomen supérieur droit (UR) et l’électrode de noir sur l’abdomen supérieur gauche (UL). Placer l’électrode rouge sur l’abdomen gauche (LL). Veiller à ce que les trois électrodes ne sont pas directement sur une côte.
   4. Raccorder les fils d’ECG couleur trois aux électrodes correspondantes attachés sur le corps du participant.
3. Expérience préalable questionnaires
   1. Fournir au participant avec un clavier et une souris qui serviront à répondre à des questionnaires (e.g., démographiques des questions, la première partie de la court Questionnaire état de Stress, le sens de Santa Barbara de l’échelle de la Direction) et informer lui ou elle que ils vont demandera une série de questions sur l’ordinateur.
   2. Informer les participants qu’ils peuvent demander l’expérimentateur questions concernant le questionnaire à tout moment.
   3. Fermer les deux côtés de la cabine tandis que le participant est remplir les questionnaires.
4. Préparatifs de mesure physiologique. Ces étapes peuvent être menées alors que le participant est remplir les questionnaires.
   1. Informer le participant que l’expérimentateur va maintenant préparer les dispositifs physiologiques.
   2. Vérifier que les électrodes sont fixées aux emplacements appropriés.
   3. Fixer le brassard sur le bras non dominant.
   4. Fournir des instructions au participant au sujet de la mesure précise de la tension artérielle. Dire du participant afin de minimiser les mouvements de bras et le corps, garder le brassard au niveau du coeur et à maintenir une posture verticale avec ses pieds sur le sol.
   5. Raccorder les deux fils d’AED pour les électrodes sur les doigts.
   6. Éteindre la lumière au-dessus du moniteur et assombrit tous autres plafonniers à réglage le plus bas.
   7. La main de la manette au participant et faire en sorte que la souris se trouve hors de l’écran du moniteur test.
   8. Zéro la chaîne EDA afin d’obtenir une mesure du niveau de la conductance de la peau de départ de l’individu.
   9. Dans le logiciel EDA/ECG, ouvrez la boîte de dialogue «Bio Amp». Choisissez la portée du signal dans lequel le signal de battement de coeur couvre environ un tiers de la fenêtre d’aperçu (5 mV dans la plupart des cas).
   10. Démarrer l’enregistrement avec le logiciel EDA/ECG et vérifier si un signal est visible dans la fenêtre du logiciel EDA/ECG sur le moniteur de l’expérimentateur.
   11. Démarrer l’enregistrement en appuyant sur le bouton approprié dans la machine de pression artérielle la tension artérielle.
   12. Basculer vers le programme de l’unité ouvert, puis appuyez sur «Démarrer les mesures». Une fixation Croix devrait apparaître.
5. Formation de manette de jeu et vidéo de base
   1. Demander au participant à regarder et à suivre la vidéo de formation qui indique à lui comment utiliser le joystick.
   2. Demandez aux participants de compléter le labyrinthe de la formation pour pratiquer à l’aide de la manette de jeu. Dans ce dédale de formation, les participants sont tenus de suivre les flèches qui indiquent un itinéraire et ramasser les pierres précieuses flottants.
   3. Si l’expérience comprend des sons, placer le casque sur la tête du participant.
   4. Demander au participant de regarder la vidéo de nature de base sans bouger. Cette vidéo est utilisée pour une mesure de base de données physiologiques du participant au cours de l’analyse ultérieure.
6. Tâche de navigation
   1. Veiller à ce que les participants ont lu les instructions concernant la tâche de navigation to-be-terminé. Se renseigner sur la question de savoir si le participant a des questions avant le début de la tâche de navigation. Dire le participant qu’ils ne devraient pas poser des questions durant la tâche de navigation.
   2. Demander au participant d’appuyer sur la gâchette sur la manette quand il ou elle est prête à commencer la tâche de navigation.
7. Mesures physiologiques finales et le détachement des capteurs physiologiques
   1. Attendez que le système a terminé à la mesure de la pression artérielle final.
   2. Arrêter l’enregistrement EDA et ECG en appuyant sur le bouton arrêter dans le logiciel EDA/ECG.
   3. Retirer le brassard.
   4. Retirer les électrodes de l’EDA du participant.
   5. Demandez aux participants ne pas à enlever les électrodes ECG jusqu'à la fin de l’expérience.
   6. Enlever la manette et le casque.
8. Après expérience questionnaires
   1. Fournir le participant avec un clavier et une souris pour les questionnaires post expérience (p. ex.., la deuxième partie de la court Questionnaire d’état de Stress, le mannequin d’auto-évaluation, le Questionnaire de maladie de simulateur).
   2. Informer les participants qu’ils vont demandera une autre série de questions sur l’ordinateur et qu’il ou elle peut poser des questions si nécessaire.
9. Fin de la session expérimentale
   1. Informer le participant que la partie expérimentale est maintenant terminée. Je remercie elle ou lui pour avoir participé à l’expérience.
   2. Dire le participant qu’il/elle peut maintenant retirer les électrodes de l’ECG.
   3. Verser les participants et leur demander de signer le reçu imprimé.
   4. Demander si le participant a des questions concernant le but de l’expérience et l’escorte de lui à l’extérieur de la salle d’expérience.

4. après chaque Session expérimentale

1. Ouvrir le menu «évaluation» dans EVE afin de réaliser des diagnostics de l’expérience (p. ex.., relire les trajectoires) et enregistrer les fichiers de mesure physiologique dans le logiciel EDA/ECG.
2. Dans le menu «évaluation» en veille, appuyez sur le bouton «Ajouter un repère événement» à l’occasion des événements dans les fichiers de mesure physiologique. Cette étape est essentielle pour l’analyse des données physiologiques en termes de phases expérimentales particulières.
3. Enregistrez le fichier EDA/ECG dans le fichier de mesure physiologique dans le logiciel EDA/ECG.
4. Exportez les données expérimentales pour la sauvegarde en utilisant le package evertools.
5. Eteignez l’appareil AED/ECG et nettoyer les électrodes de l’AED avec des tampons d’alcool.
6. Sélectionnez cette option que le participant est apparu dans le système de recrutement de participants.

Résultats

Par chaque participant à la mission NeuroLab, nous recueillons habituellement données physiologiques (e.g., ECG), données du questionnaire (e.g., le sens de Santa Barbara de l’échelle de la Direction ou SBSOD³¹) et données de navigation (e.g., chemins à travers la environnement virtuel). Par exemple, des changements dans la fréquence cardiaque (dérivé de données ECG) ont été associés à des changements dans les États de co...

Discussion

Dans le présent document, nous avons décrit un protocole pour la réalisation d’expériences en VR avec le cadre de la veille des appareils physiologique. Ces types d’expériences sont uniques en raison de considérations matérielles supplémentaires (p. ex.., dispositifs physiologiques et autres périphériques), les étapes préparatoires pour la collecte des données physiologiques à l’aide de VR et les exigences en matière de gestion de données. Le présent protocole fournit les étapes nécessai...

matériels

Name	Company	Catalog Number	Comments
Alienware Area 51 Base	Dell	210-ADHC	Computation
138 cm 4K Ultra-HD LED-TV	Samsung	UE55JU6470U	Display
SureSigns VS2+	Philips Healthcare	863278	Blood Pressure
PowerLab 8/35	AD Instruments	PL3508	Skin Conductance
PowerLab 26T (LTS)	AD Instruments	ML4856	Heart Rate
Extreme 3D Pro Joystick	Logitech	963290-0403	HID