Un abonnement à JoVE est nécessaire pour voir ce contenu. Connectez-vous ou commencez votre essai gratuit.
Method Article
Un nouveau simulateur de vol en réalité virtuelle a été construit, qui permet une évaluation efficace et peu coûteuse des performances de vol et des mouvements oculaires. Il constitue également un outil de recherche à fort potentiel pour l’ergonomie et d’autres recherches.
L’évaluation efficace et économique de la performance des pilotes est devenue essentielle pour l’industrie de l’aviation. Avec le développement de la réalité virtuelle (VR) et la combinaison de la technologie de suivi oculaire, les solutions pour répondre à ces besoins deviennent une réalité. Des études antérieures ont exploré les simulateurs de vol basés sur la réalité virtuelle, en se concentrant principalement sur la validation de la technologie et la formation au vol. L’étude actuelle a développé un nouveau simulateur de vol VR pour évaluer les performances de vol des pilotes en fonction des mouvements oculaires et des indicateurs de vol dans une scène immersive en 3D. Au cours de l’expérience, 46 participants ont été recrutés : 23 pilotes professionnels et 23 étudiants sans expérience de vol. Les résultats de l’expérience ont montré des différences significatives dans les performances de vol entre les participants avec et sans expérience de vol, les premiers étant plus élevés que les seconds. En revanche, ceux qui avaient de l’expérience du vol présentaient des mouvements oculaires plus structurés et plus efficaces. Ces résultats de la différenciation des performances de vol démontrent la validité du simulateur de vol VR actuel en tant que méthode d’évaluation des performances de vol. Les différents modèles de mouvements oculaires avec l’expérience de vol constituent la base de la sélection future du vol. Cependant, ce simulateur de vol basé sur la réalité virtuelle présente des lacunes telles que le retour de mouvement par rapport aux simulateurs de vol traditionnels. Cette plate-forme de simulateur de vol est très flexible, à l’exception de son faible coût apparent. Il peut répondre aux divers besoins des chercheurs (par exemple, mesurer la conscience de la situation, le mal de la RV et la charge de travail en ajoutant des échelles pertinentes).
L’Agence européenne de la sécurité aérienne (2012) classe les simulateurs de vol en deux catégories : installations de formation, simulateurs de programmes de vol et de navigation, équipements de formation au pilotage et simulateurs de vol complets1. À ce jour, une gamme de simulateurs de vol est disponible pour la formation, allant des systèmes de table de bas niveau aux simulateurs de vol complets basés sur le mouvement très compliqués2. Le simulateur traditionnel comprend un modèle de dynamique de vol, une simulation de système, un cockpit matériel, une visualisation externe et une simulation de mouvement en option3.
Ces simulateurs de vol traditionnels présentent certains avantages en tant qu’équipement de formation au pilotage efficace. Cependant, leur coût est élevé et peu respectueux de l’environnement, car le moteur de chaque système nécessite une énergie électrique substantielle, en particulier un simulateur de vol complet, qui nécessite une température élevée et une pression de fluide ou d’air à haute pression, consomme beaucoup d’énergie et génère beaucoup de bruit4.
Cependant, un système de simulateur de bureau simple est flexible et peu coûteux, avec une immersion plus faible et moins d’interactions qu’un simulateur de vol complet2. Par conséquent, il est essentiel de développer de nouveaux simulateurs de vol qui combinent les avantages des systèmes de bureau et des simulateurs de vol complets (en d’autres termes, la flexibilité d’une simulation de table et le niveau d’immersion et d’interaction proche d’un simulateur de vol complet).
Avec le développement de la technologie informatique, en particulier de la technologie de réalité virtuelle (VR), un nouveau type de simulateur de vol basé sur la technologie VR émergente devient une réalité. Le simulateur de vol basé sur la réalité virtuelle est flexible, portable, peu coûteux et nécessite moins d’espace que les simulateurs de vol conventionnels5. Les chercheurs ont créé des simulateurs de vol basés sur la technologie VR au cours des 20 dernières années 6,7,8,9,10,11 ; cependant, ces simulateurs de vol VR sont principalement destinés à la formation au vol, et il y en a peu pour la sélection des pilotes. Pourtant, avec la réduction des coûts et l’amélioration de la technologie, les simulateurs basés sur la RV changent et deviennent réalisables pour la sélection personnelle. Certaines études ont utilisé des simulateurs basés sur la RV pour la sélection personnelle dans différents domaines : Schijven et al.12 ont sélectionné des stagiaires en chirurgie à l’aide d’un simulateur de réalité virtuelle. Huang et coll.13 ont mis au point un instrument de sélection psychologique basé sur la technologie de réalité virtuelle pour le recrutement des pilotes de l’armée de l’air. Wojciechowski et Wojtowicz14 ont évalué les capacités d’un candidat en tant que pilote de véhicule aérien sans pilote (UAV) sur la base de la technologie VR. Étant donné que la sélection des pilotes est essentielle pour l’industrie de l’aviation, elle fait pression pour développer un nouveau simulateur de vol basé sur la RV axé sur la sélection des pilotes, car la sélection des pilotes à grande échelle est sensible au coût du simulateur et aux exigences du système de simulateur de portabilité.
Les mouvements oculaires fournissent des indices pour la performance d’un pilote. Différentes études ont montré que le mode de balayage oculaire distingue les performances entre les pilotes experts et les pilotes novices. En comparant le modèle de balayage entre les experts et les novices, le comportement efficace et structurel des mouvements oculaires des experts et les méthodes de balayage inadéquates des débutants ont pu être différenciés. Plusieurs études aéronautiques ont montré que la stratégie de balayage oculaire des pilotes est fortement liée au niveau d’expertise 15,16,17,18,19,20,21,22,23,24. Selon Bellenkes et al.25, la durée des fixations des experts est plus courte et la fréquence de leurs fixations sur les instruments est plus élevée que celle des novices. Presque la même conclusion a été tirée par Kasarskis et al.26, qui ont découvert que les pilotes experts ont plus de fixations combinées à des durées plus courtes que les novices, ont suggéré que les pilotes experts ont un meilleur mode visuel que les novices. Dans une autre étude, Lorenz et al.27 ont constaté que les experts passent plus de temps à regarder à l’extérieur du cockpit que les novices. Ces résultats ont une grande valeur pratique dans la sélection des nouveaux arrivants.
L’évaluation des performances de vol est un autre facteur critique pour la sélection des pilotes. Cependant, les problèmes suivants existent dans l’évaluation des performances de vol des pilotes : des opinions d’experts contradictoires, davantage de normes de sélection et une théorie de sélection unifiée. Dans le domaine de la conduite, Horrey et coll.28 ont comparé la valeur absolue de la sortie de voie de l’axe médian dans différentes conditions expérimentales afin d’évaluer les performances de conduite. Pour en revenir au domaine de l’aviation, l’enregistreur d’accès rapide de vol (QAR) enregistre toutes sortes de paramètres de manipulation du pilote, de paramètres de l’avion, d’environnements et d’informations d’avertissement pendant le vol29. Plus précisément, comme les indicateurs QAR, l’angle de tangage est l’angle de rotation autour des axes gauche et droit de l’avion30, et la ligne de référence (ou la ligne de référence centrale) se trouve juste au milieu des lignes rouge et verte28 ; Ces deux paramètres de vol sont utilisés pour évaluer les performances de vol des participants avec ou sans expérience dans la présente étude. Ces données QAR peuvent être utilisées pour évaluer les performances de vol, mais à notre connaissance, elles ont rarement été utilisées pour l’entraînement personnel et la sélection dans la recherche scientifique31,32.
Les mesures des mouvements oculaires peuvent être utilisées pour évaluer et prédire les performances de vol et guider la formation et la sélection des pilotes. Gerathewohl,33 ans, a déclaré que l’œil est l’organe sensoriel le plus important du pilote, traitant 80% des informations de vol. Les pilotes doivent acquérir des informations visuelles à partir des instruments dans le cockpit et les intégrer dans une image cohérente pour gérer le vol22. De plus, un comportement de balayage optimal est essentiel pour obtenir de meilleures performances de vol15. Cependant, aucun simulateur de vol abordable n’intègre actuellement un oculomètre pour faciliter les études quantitatives de la relation entre les mouvements oculaires et les performances de vol.
L’étude actuelle a développé un nouveau simulateur de vol VR pour évaluer si les participants ayant une expérience de vol avaient de meilleures performances de vol que ceux sans expérience de vol. Le simulateur de vol VR intègre le suivi oculaire et un système de dynamique de vol permettant l’analyse des mouvements oculaires et l’évaluation des performances de vol. En particulier, il convient de mentionner que le simulateur de vol VR utilise un eye trackerVR 34, et non un eye tracker en verre ou de bureau, pour analyser le mouvement oculaire basé sur la zone d’intérêt (AOI) sans compter les images fastidieuses.
Enfin, les travaux actuels peuvent conduire à une mesure globale pour la sélection des pilotes à l’avenir, de la trajectoire de balayage oculaire aux données objectives de performance de vol. Avec l’aide du simulateur de vol virtuel, le coût de la sélection des vols sera considérablement réduit et la norme des pilotes pourra être formée sur la base d’une collecte de données approfondie. Le travail comble une lacune entre les simulateurs conventionnels et les simulateurs de bureau pour les besoins de sélection de vol.
Toutes les méthodes décrites ici ont été approuvées par le Conseil d’examen institutionnel (IRB) de l’Université Tsinghua, et le consentement éclairé a été obtenu de tous les participants. Une fois l’achèvement terminé, tous les participants ont reçu 12 $ (ou un cadeau de valeur égale).
1. Sélection des participants
2. Matériel de simulateur de vol
Visiocasque VR (HMD) et module de suivi oculaire | 1. Station de base |
2. HMD VR | |
Module PC Flight Simulator | 3. Simulateur de vol PC |
Module de commandes de vol | 4. Accélérateur de vol |
5. Joystick de vol | |
6. Pédale de vol |
Tableau 1 : Composants des trois modules du matériel du simulateur de vol.
Composant principal | Accessoires |
VR HMD | Câble du casque (attaché) |
Coussin facial (attaché) | |
Chiffon de nettoyage | |
Capuchon de trou pour écouteurs × 2 | |
Boîte de lien | Adaptateur |
Câble DisplayPort | |
Câble USB 3.0 | |
Coussin de montage | |
Manettes (2018) × 2 | Adaptateurs secteur × 2 |
Longes × 2 | |
Câbles micro-USB × 2 | |
Station de base 2.0 × 2 | Adaptateurs secteur × 2 |
Kit de montage (2 supports, 4 vis et 4 ancrages muraux) |
Tableau 2 : Liste des composants du HMD VR et du module de suivi oculaire.
Appareil | Configuration des paramètres |
Joystick de vol | Dix-neuf boutons d’action |
Un chapeau « point de vue » à 8 voies | |
Plusieurs capteurs magnétiques 3D | |
Un système de ressorts hélicoïdaux | |
Une résolution de 16 bits (valeurs 65536 x 65536). | |
Panneau de commande de vol | Quinze boutons d’action |
Une roue TRIM | |
Cinq LED programmables | |
Accélérateur de vol | Dix-sept boutons d’action |
Un chapeau de souris avec un bouton-poussoir | |
Un chapeau « point de vue » à 8 voies | |
Plusieurs capteurs magnétiques 3D | |
Deux résolutions 14 bits | |
Pédale de vol | Tension entre 2,5 kg et 5 kg |
Angle entre 35° et 75° |
Tableau 3 : La configuration des paramètres des dispositifs du module de commande de vol.
Figure 1 : La disposition du matériel du simulateur de vol VR. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 2 : Connexion du matériel du simulateur de vol. (A) Module de commandes de vol. L’accélérateur et le panneau de commande sont physiquement assemblés et traités comme une unité. Si le terme « accélérateur » est utilisé dans cette étude, il fait référence à la fois à l’accélérateur et au panneau de commande. (B) Module PC de simulateur de vol. Un ordinateur qui répond aux exigences décrites à l’étape 2.2. (C) HMD et module de suivi oculaire. Les kits de développement logiciel (SDK) pour le suivi oculaire et le moteur 3D sont synchronisés lorsqu’ils sont installés sur le même ordinateur. Par conséquent, les fonctions de suivi oculaire et le système d’exploitation interagissent et fonctionnent ensemble. Veuillez cliquer ici pour voir une version agrandie de cette figure.
3. Logiciel de simulation de vol
Nom | Description | |||
Logiciel VR | Un outil largement utilisé pour découvrir du contenu VR sur le matériel. | |||
Boutique d’applications VR | L’App Store pour la réalité virtuelle où les clients peuvent explorer, créer, se connecter et découvrir le contenu qu’ils aiment et dont ils ont besoin. | |||
Logiciel de suivi oculaire | Logiciel de suivi oculaire développé par l’équipe de recherche via les SDK de suivi oculaire et de moteur 3D. | |||
FlySimulator | Le programme principal du logiciel de simulation de vol, développé par l’équipe de recherche. | |||
Logiciel d’enregistrement d’écran | Un logiciel gratuit et open source pour l’enregistrement vidéo et la diffusion en direct. |
Tableau 4 : Informations sur tous les logiciels utilisés dans l’expérience.
4. Préparation avant la mise en route du simulateur de vol
REMARQUE : Si c’est la première fois que vous exécutez le programme de suivi oculaire, effectuez les étapes supplémentaires conformément à la Figure 3. Le programme de suivi oculaire s’activera automatiquement après la première exécution.
Figure 3 : Les étapes supplémentaires lors de la première exécution du programme de suivi oculaire. Veuillez cliquer ici pour voir une version agrandie de cette figure.
5. Procédure expérimentale
REMARQUE : L’expérience est divisée en quatre étapes : « recueillir des informations », « présenter la tâche et l’opération », « s’entraîner avant l’expérience » et « mener une expérience formelle ». Le processus expérimental est résumé à la figure 4.
Figure 4 : L’organigramme de l’expérience. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 5 : Le schéma de trafic pour le simulateur de vol VR. L’angle de tangage est l’angle de rotation autour des axes gauche et droit de l’avion, et la ligne de référence (ou la ligne de référence centrale) se trouve en plein milieu des lignes rouges et vertes. Veuillez cliquer ici pour voir une version agrandie de cette figure.
6. Analyse des données
Figure 6 : Processus de prétraitement et de calcul de l’écoulement de l’AOI. Les sections 1 à 4 décrivent comment la présente étude a traité les données sur les mouvements oculaires des pilotes jusqu’au test t sur échantillon indépendant. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Figure 7 : Schéma de principe de la division AOI de l’instrument de vol. La fonction des instruments : (A) L’anémomètre indique la vitesse de l’avion par rapport à l’air. (B) L’indicateur d’altitude indique l’altitude de tangage et de roulis de l’avion. (C) L’indicateur de vitesse verticale indique la vitesse de montée ou de descente de l’aéronef. (D) L’indicateur d’altitude indique l’altitude barométrique de l’aéronef. (E) L’indicateur de régime moteur indique le régime du moteur de l’avion. Veuillez cliquer ici pour voir une version agrandie de cette figure.
Pour l’expérience actuelle, 23 experts ayant une expérience de vol et 23 novices sans expérience de vol ont été choisis. Les participants étaient âgés de 25 à 58 ans (experts : M = 32,52 ans, ET = 7,28 ans ; novices : M = 29,57 ans, ET = 5,74 ans). Le sexe de tous les participants était masculin. Tous les novices ont été recrutés à l’Université Tsinghua (étudiants ou professeurs), et tous les experts provenaient de China Eastern Airlines.
L’étude actuelle a évalué si les participants ayant une expérience de vol avaient de meilleures performances de vol que ceux sans expérience de vol dans un simulateur de vol basé sur la RV. Plus important encore, il a évalué si un modèle de mouvement oculaire plus optimisé pouvait être trouvé chez ces participants ayant de meilleures performances de vol. Les résultats présentent des différences significatives entre les participants avec et sans expérience de vol pour trois indicateurs QAR clés : l’an...
Les auteurs n’ont déclaré aucune divulgation financière ni conflit d’intérêts.
Les auteurs sont incroyablement reconnaissants à M. Li Yan pour son aide dans le recrutement des participants au projet pilote et remercient Mme Bu Lingyun pour son travail sur le dessin. La recherche a été soutenue par la Fondation nationale des sciences naturelles de Chine (numéro de subvention T2192931, 72071185), le National Brain Project (numéro de subvention STI2030-Major Projects2022ZD0208500), le National Key Laboratory Project of Human Factors Engineering (numéro de subvention SYFD062003), le National Key Laboratory Project of Human Factors Engineering (numéro de subvention 6142222210201), et l’année 2022 Grands projets de recherche logistique militaire Grant and Key Project of Air Force Equipment Comprehensive Recherche (numéro de subvention KJ2022A000415).
Name | Company | Catalog Number | Comments |
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK | This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type | One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |
Demande d’autorisation pour utiliser le texte ou les figures de cet article JoVE
Demande d’autorisationThis article has been published
Video Coming Soon