Se requiere una suscripción a JoVE para ver este contenido. Inicie sesión o comience su prueba gratuita.
Method Article
Se construyó un nuevo simulador de vuelo de realidad virtual, que permite una evaluación eficiente y de bajo costo del rendimiento de vuelo y los patrones de movimiento ocular. También proporciona una herramienta de investigación de alto potencial para la ergonomía y otras investigaciones.
La evaluación eficiente y económica del rendimiento de los pilotos se ha vuelto fundamental para la industria de la aviación. Con el desarrollo de la realidad virtual (RV) y la combinación de la tecnología de seguimiento ocular, las soluciones para satisfacer estas necesidades se están convirtiendo en una realidad. Estudios anteriores han explorado simuladores de vuelo basados en realidad virtual, centrándose principalmente en la validación de tecnología y el entrenamiento de vuelo. El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar el rendimiento de vuelo de los pilotos en función del movimiento ocular y los indicadores de vuelo en una escena inmersiva en 3D. Durante el experimento, se reclutaron 46 participantes: 23 pilotos profesionales y 23 estudiantes universitarios sin experiencia de vuelo. Los resultados del experimento mostraron diferencias significativas en el rendimiento de vuelo entre participantes con y sin experiencia de vuelo, siendo el primero mayor que el segundo. Por el contrario, aquellos con experiencia de vuelo mostraron patrones de movimiento ocular más estructurados y eficientes. Estos resultados de la diferenciación del rendimiento de vuelo demuestran la validez del simulador de vuelo VR actual como método de evaluación del rendimiento de vuelo. Los diferentes patrones de movimiento ocular con la experiencia de vuelo proporcionan la base para la selección de vuelo futuro. Sin embargo, este simulador de vuelo basado en realidad virtual tiene deficiencias como la retroalimentación de movimiento en comparación con los simuladores de vuelo tradicionales. Esta plataforma de simulador de vuelo es muy flexible, excepto por el aparente bajo costo. Puede satisfacer las diversas necesidades de los investigadores (por ejemplo, medir la conciencia de la situación, la enfermedad por RV y la carga de trabajo mediante la adición de escalas relevantes).
La Agencia Europea de Seguridad Aérea (2012) clasifica los simuladores de vuelo como instalaciones de entrenamiento, entrenadores de programas de vuelo y navegación, equipos de entrenamiento de vuelo y simuladores de vuelo completos1. Hasta la fecha, hay una gama de simuladores de vuelo disponibles para el entrenamiento, desde sistemas de mesa de bajo nivel hasta simuladores de vuelo completo basados en movimiento altamente complicados2. El simulador tradicional incluye un modelo de dinámica de vuelo, una simulación de sistema, una cabina de hardware, una visualización externa y una simulación de movimiento opcional3.
Estos simuladores de vuelo tradicionales tienen algunas ventajas como equipo de entrenamiento de vuelo efectivo. Sin embargo, su costo es alto y poco amigable con el medio ambiente, ya que el accionamiento de cada sistema requiere una energía eléctrica sustancial, especialmente un simulador de vuelo completo, que requiere fluido o presión de aire a alta temperatura y alta presión, consume mucha energía y genera mucho ruido4.
Sin embargo, un sistema de simulador de escritorio simple es flexible y de bajo costo, con menor inmersión y menos interacciones que un simulador de vuelo completo2. Por lo tanto, es esencial desarrollar nuevos simuladores de vuelo que combinen las ventajas de los sistemas de escritorio y los simuladores de vuelo completos (en otras palabras, la flexibilidad de una simulación de mesa y el nivel de inmersión e interacción cercano a un simulador de vuelo completo).
Con el desarrollo de la tecnología informática, especialmente la tecnología de realidad virtual (RV), un nuevo tipo de simulador de vuelo basado en la tecnología emergente de RV se está convirtiendo en una realidad. El simulador de vuelo basado en realidad virtual es flexible, portátil, de bajo costo y tiene menos requisitos de espacio que los simuladores de vuelo convencionales5. Los investigadores han creado simuladores de vuelo basados en tecnología de realidad virtual en los últimos 20 años 6,7,8,9,10,11; sin embargo, estos simuladores de vuelo VR son principalmente para el entrenamiento de vuelo, y hay pocos para la selección de pilotos. Sin embargo, con la reducción de costos y la mejora de la tecnología, los simuladores basados en realidad virtual están cambiando y se están volviendo factibles para la selección personal. Algunos estudios han utilizado simuladores basados en RV para la selección personal en diferentes dominios: Schijven et al.12 seleccionaron a cirujanos en formación utilizando un simulador de realidad virtual. Huang et al.13 desarrollaron un instrumento de selección psicológica basado en tecnología de realidad virtual para el reclutamiento de pilotos de la Fuerza Aérea. Wojciechowski y Wojtowicz14 evaluaron las capacidades de un candidato como piloto de vehículos aéreos no tripulados (UAV) basados en tecnología de realidad virtual. Dado que la selección de pilotos es fundamental para la industria de la aviación, es urgente desarrollar un nuevo simulador de vuelo basado en realidad virtual que se centre en la selección de pilotos, ya que la selección de pilotos a gran escala es susceptible al costo del simulador y a las demandas del sistema de simulador de portabilidad.
Los movimientos oculares proporcionan pistas para el rendimiento de un piloto. Diferentes estudios han encontrado que el modo de escaneo ocular distingue el rendimiento entre pilotos expertos y novatos. Al comparar el patrón de escaneo entre expertos y novatos, se pudo diferenciar el comportamiento eficiente y estructural del movimiento ocular de los expertos y los métodos de escaneo inadecuados de los principiantes. Varios estudios de aviación han encontrado que la estrategia de escaneo ocular de los pilotos se relaciona en gran medida con el nivel de experiencia 15,16,17,18,19,20,21,22,23,24. De acuerdo con Bellenkes et al.25, la duración de las fijaciones de los expertos es más corta y la frecuencia de sus fijaciones en los instrumentos es mayor que la de los novatos. Casi a la misma conclusión llegaron Kasarskis et al.26, quienes descubrieron que los pilotos expertos tienen más fijaciones combinadas con duraciones más cortas que los novatos, sugiriendo que los pilotos expertos tienen un mejor modo visual que los novatos. En otro estudio, Lorenz et al.27 encontraron que los expertos pasan más tiempo mirando fuera de la cabina que los novatos. Estos resultados tienen un gran valor práctico en la selección de los recién llegados.
La evaluación del rendimiento de vuelo es otro factor crítico para la selección de pilotos. Sin embargo, existen los siguientes problemas en la evaluación del rendimiento de vuelo de los pilotos: opiniones contradictorias de los expertos, más normas de selección y una teoría de selección unificada. En el campo de la conducción, Horrey et al.28 compararon el valor absoluto de la desviación del carril desde la línea central para diferentes condiciones experimentales con el fin de evaluar el rendimiento en la conducción. Volviendo al dominio de la aviación, el registrador de acceso rápido de vuelo (QAR) registra todo tipo de parámetros de manipulación del piloto, parámetros de la aeronave, entornos e información de advertencia durante el vuelo29. Más específicamente, como los indicadores QAR, el ángulo de cabeceo es el ángulo de rotación alrededor de los ejes izquierdo y derecho de la aeronave30, y la línea de referencia (o la línea de referencia central) está justo en el medio de las líneas roja y verde28; Estos dos parámetros de vuelo se utilizan para evaluar el rendimiento de vuelo de los participantes con o sin experiencia en el estudio actual. Estos datos QAR se pueden utilizar para evaluar el rendimiento del vuelo, sin embargo, hasta donde sabemos, rara vez se han utilizado para el entrenamiento personal y la selección en la investigación científica31,32.
Las mediciones de los patrones de movimiento ocular se pueden utilizar para evaluar y predecir el rendimiento del vuelo y guiar el entrenamiento y la selección de los pilotos. Gerathewohl33 afirmó que el ojo es el órgano sensorial más importante del piloto, procesando el 80% de la información de vuelo. Los pilotos deben adquirir información visual de los instrumentos de la cabina e integrarla en una imagen coherente para gestionar el vuelo22. Además, el comportamiento óptimo de escaneo es esencial para lograr un mejor rendimiento de vuelo15. Sin embargo, actualmente no hay un simulador de vuelo asequible que integre un rastreador ocular para facilitar los estudios cuantitativos de la relación entre los movimientos oculares y el rendimiento del vuelo.
El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo. El simulador de vuelo VR integra el seguimiento ocular y un sistema de dinámica de vuelo que permite el análisis de patrones de movimiento ocular y la evaluación del rendimiento del vuelo. En particular, vale la pena mencionar que el simulador de vuelo VR utiliza un rastreador ocularVR 34, no un rastreador ocular similar al vidrio o de escritorio, para analizar el movimiento ocular basado en el área de interés (AOI) sin contar fotogramas que requiere mucho tiempo.
Finalmente, el presente trabajo puede conducir a una medición ómnibus para la selección de pilotos en el futuro, desde la trayectoria de escaneo ocular hasta los datos objetivos de rendimiento de vuelo. Con la ayuda del simulador de vuelo virtual, el costo de la selección de vuelo se reducirá significativamente y la norma de los pilotos se puede formar en función de una amplia recopilación de datos. El trabajo llena un vacío entre los simuladores convencionales y los de escritorio para las necesidades de selección de vuelos.
Todos los métodos descritos aquí han sido aprobados por la Junta de Revisión Institucional (IRB) de la Universidad de Tsinghua, y se obtuvo el consentimiento informado de todos los participantes. Después de la finalización, a todos los participantes se les pagó $ 12 (o un regalo de igual valor).
1. Selección de participantes
2. Hardware del simulador de vuelo
Pantalla VR montada en la cabeza (HMD) y módulo de seguimiento ocular | 1. Estación base |
2. VR HMD | |
Módulo PC de Flight Simulator | 3. Simulador de vuelo PC |
Módulo de control de vuelo | 4. Acelerador de vuelo |
5. Joystick de vuelo | |
6. Pedal de vuelo |
Tabla 1: Componentes de los tres módulos del hardware del simulador de vuelo.
Componente principal | Accesorios |
VR HMD | Cable de auricular (conectado) |
Cojín facial (adjunto) | |
Paño de limpieza | |
Tapa del orificio del auricular × 2 | |
Cuadro de enlace | Adaptador de corriente |
Cable DisplayPort | |
Cable USB 3.0 | |
Almohadilla de montaje | |
Controladores (2018) × 2 | Adaptadores de corriente × 2 |
Cordones × 2 | |
Cables micro-USB × 2 | |
Estación base 2.0 × 2 | Adaptadores de corriente × 2 |
Kit de montaje (2 soportes, 4 tornillos y 4 anclajes de pared) |
Tabla 2: Lista de componentes del módulo VR HMD y de seguimiento ocular.
Dispositivo | Configuración de parámetros |
Joystick de vuelo | Diecinueve botones de acción |
Un sombrero de "punto de vista" de 8 vías | |
Varios sensores magnéticos 3D | |
Un sistema de 5 resortes helicoidales | |
Una resolución de 16 bits (valores de 65536 x 65536). | |
Panel de control de vuelo | Quince botones de acción |
Una rueda TRIM | |
Cinco LEDs programables | |
Acelerador de vuelo | Diecisiete botones de acción |
Un sombrero de ratón con un pulsador | |
Un sombrero de "punto de vista" de 8 vías | |
Varios sensores magnéticos 3D | |
Dos de resolución de 14 bits | |
Pedal de vuelo | Tensión entre 2,5 kg y 5 kg |
Ángulo entre 35° y 75° |
Tabla 3: Configuración de parámetros de los dispositivos del módulo de control de vuelo.
Figura 1: El diseño del hardware del simulador de vuelo VR. Haga clic aquí para ver una versión más grande de esta figura.
Figura 2: Conexión del hardware del simulador de vuelo. (A) Módulo de control de vuelo. El acelerador y el panel de control están unidos físicamente y se tratan como una unidad. Si el término "acelerador" se utiliza en este estudio, se refiere tanto al acelerador como al panel de control. (B) Módulo PC del simulador de vuelo. Un equipo que cumple los requisitos descritos en el paso 2.2. (C) HMD y módulo de seguimiento ocular. Los kits de desarrollo de software (SDK) para el seguimiento ocular y el motor 3D se mantienen sincronizados cuando se instalan en el mismo equipo. Por lo tanto, las funciones de seguimiento ocular y el sistema operativo interactúan y trabajan juntos. Haga clic aquí para ver una versión más grande de esta figura.
3. Software de simulador de vuelo
Nombre | Descripción | |||
Software de realidad virtual | Una herramienta ampliamente utilizada para experimentar contenido de realidad virtual en el hardware. | |||
Tienda de aplicaciones de realidad virtual | La tienda de aplicaciones de realidad virtual donde los clientes pueden explorar, crear, conectarse y experimentar el contenido que aman y necesitan. | |||
Software de seguimiento ocular | Software de seguimiento ocular desarrollado por el equipo de investigación a través de los SDK de seguimiento ocular y motor 3D. | |||
FlySimulator | El programa principal del software del simulador de vuelo, desarrollado por el equipo de investigación. | |||
Software de grabación de pantalla | Un software gratuito y de código abierto para la grabación de video y la transmisión en vivo. |
Tabla 4: Información sobre todo el software utilizado en el experimento.
4. Preparación antes de lanzar el simulador de vuelo
NOTA: Si es la primera vez que ejecuta el programa de seguimiento ocular, realice los pasos adicionales de acuerdo con la Figura 3. El programa de seguimiento ocular se activará automáticamente después de la ejecución inicial.
Figura 3: Los pasos adicionales al ejecutar el programa de seguimiento ocular por primera vez. Haga clic aquí para ver una versión más grande de esta figura.
5. Procedimiento experimental
NOTA: El experimento se divide en cuatro pasos: "recopilar información", "presentar la tarea y la operación", "practicar antes del experimento" y "realizar un experimento formal". El proceso experimental se resume en la Figura 4.
Figura 4: El diagrama de flujo del experimento. Haga clic aquí para ver una versión más grande de esta figura.
Figura 5: El patrón de tráfico para el simulador de vuelo de realidad virtual. El ángulo de cabeceo es el ángulo de rotación alrededor de los ejes izquierdo y derecho de la aeronave, y la línea de referencia (o la línea de referencia central) está justo en el centro de las líneas roja y verde. Haga clic aquí para ver una versión más grande de esta figura.
6. Análisis de datos
Figura 6: Preprocesamiento de AOI y proceso de cálculo de flujo. Las secciones 1 a 4 describen cómo el presente estudio procesó los datos de movimiento ocular de los pilotos hasta la prueba t de muestra independiente. Haga clic aquí para ver una versión más grande de esta figura.
Figura 7: Diagrama esquemático de la división AOI del instrumento de vuelo. La función de los instrumentos: (A) El indicador de velocidad aerodinámica indica la velocidad de la aeronave en relación con el aire. (B) El indicador de altitud muestra la altitud de cabeceo y balanceo de la aeronave. (C) El indicador de velocidad vertical indica la velocidad de ascenso o descenso de la aeronave. (D) El indicador de altitud indica la altitud barométrica de la aeronave. (E) El indicador de velocidad del motor indica la velocidad del motor de la aeronave. Haga clic aquí para ver una versión más grande de esta figura.
Para el experimento actual, se eligieron 23 expertos con experiencia de vuelo y 23 novatos sin experiencia de vuelo. Los participantes tenían entre 25 y 58 años de edad (expertos: M = 32,52 años, DE = 7,28 años; novatos: M = 29,57 años, DE = 5,74 años). El sexo de todos los participantes fue masculino. Todos los novatos fueron reclutados de la Universidad de Tsinghua (estudiantes o profesores), y todos los expertos eran de China Eastern Airlines.
El estudio actual evaluó si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo en un simulador de vuelo basado en realidad virtual. Más importante aún, evaluó si se podía encontrar un patrón de movimiento ocular más optimizado en estos participantes con un mejor rendimiento de vuelo. Los resultados muestran diferencias significativas entre los participantes con y sin experiencia de vuelo en tres indicadores QAR clave de vuelo: el ángulo de cabece...
Los autores declararon no haber divulgado información financiera ni tener conflictos de intereses.
Los autores están increíblemente agradecidos al Sr. Li Yan por su ayuda en el reclutamiento de participantes piloto y reconocen a la Sra. Bu Lingyun por su trabajo en el dibujo de imágenes. La investigación fue apoyada por la Fundación Nacional de Ciencias Naturales de China (subvención número T2192931, 72071185), el Proyecto Nacional del Cerebro (subvención número STI2030-Proyectos Principales2022ZD0208500), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número SYFD062003), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número 6142222210201), y los Proyectos Principales del año 2022 de Subvención de Investigación Logística Militar y Proyecto Clave de Equipo de la Fuerza Aérea Integral Investigación (beca número KJ2022A000415).
Name | Company | Catalog Number | Comments |
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK | This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type | One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |
Solicitar permiso para reutilizar el texto o las figuras de este JoVE artículos
Solicitar permisoThis article has been published
Video Coming Soon
ACERCA DE JoVE
Copyright © 2025 MyJoVE Corporation. Todos los derechos reservados