É necessária uma assinatura da JoVE para visualizar este conteúdo. Faça login ou comece sua avaliação gratuita.
Method Article
Um novo simulador de voo de realidade virtual foi construído, o que permite uma avaliação eficiente e de baixo custo do desempenho de voo e dos padrões de movimento ocular. Ele também fornece uma ferramenta de pesquisa de alto potencial para ergonomia e outras pesquisas.
A avaliação eficiente e econômica do desempenho dos pilotos tornou-se crítica para a indústria da aviação. Com o desenvolvimento da realidade virtual (VR) e a combinação da tecnologia de rastreamento ocular, as soluções para atender a essas necessidades estão se tornando realidade. Estudos anteriores exploraram simuladores de voo baseados em VR, com foco principalmente na validação de tecnologia e treinamento de voo. O estudo atual desenvolveu um novo simulador de voo VR para avaliar o desempenho de voo dos pilotos com base no movimento dos olhos e indicadores de voo em uma cena imersiva 3D. Durante o experimento, 46 participantes foram recrutados: 23 pilotos profissionais e 23 estudantes universitários sem experiência de voo. Os resultados do experimento mostraram diferenças significativas no desempenho de voo entre os participantes com e sem experiência de voo, sendo o primeiro maior que o segundo. Em contraste, aqueles com experiência de voo mostraram padrões de movimento ocular mais estruturados e eficientes. Esses resultados da diferenciação do desempenho de voo demonstram a validade do atual simulador de voo VR como método de avaliação de desempenho de voo. Os diferentes padrões de movimento ocular com a experiência de voo fornecem a base para a seleção de voo futuro. No entanto, este simulador de voo baseado em VR tem deficiências como feedback de movimento em comparação com os simuladores de voo tradicionais. Esta plataforma de simulador de vôo é altamente flexível, exceto pelo aparente baixo custo. Ele pode atender às diversas necessidades dos pesquisadores (por exemplo, medir a consciência da situação, a doença da RV e a carga de trabalho adicionando escalas relevantes).
A Agência Europeia para a Segurança da Aviação (2012) categoriza os simuladores de voo como instalações de treinamento, instrutores de programas de voo e navegação, equipamentos de treinamento de voo e simuladores de voo completos1. Até o momento, uma variedade de simuladores de vôo está disponível para treinamento, desde sistemas de mesa de baixo nível até simuladores de vôo completos baseados em movimento altamente complicados2. O simulador tradicional inclui um modelo de dinâmica de voo, uma simulação de sistema, um cockpit de hardware, uma visualização externa e uma simulação de movimento opcional3.
Esses simuladores de vôo tradicionais têm algumas vantagens como equipamentos eficazes de treinamento de vôo. No entanto, seu custo é alto e hostil ao meio ambiente, pois o acionamento de cada sistema requer energia elétrica substancial, especialmente um simulador de vôo completo, que requer alta temperatura e alta pressão de fluido ou pressão de ar, consome muita energia e gera muito ruído4.
No entanto, um sistema de simulador de desktop simples é flexível e de baixo custo, com menor imersão e menos interações do que um simulador de vôo completo2. Portanto, é essencial desenvolver novos simuladores de voo que combinem as vantagens dos sistemas desktop e simuladores de voo completos (em outras palavras, a flexibilidade de uma simulação de mesa e o nível de imersão e interação próximo a um simulador de voo completo).
Com o desenvolvimento da tecnologia de computador, especialmente a tecnologia de realidade virtual (VR), um novo tipo de simulador de vôo baseado na tecnologia emergente de VR está se tornando realidade. O simulador de vôo baseado em RV é flexível, portátil, de baixo custo e tem menos requisitos de espaço do que os simuladores de vôo convencionais5. Os pesquisadores criaram simuladores de vôo baseados na tecnologia VR nos últimos 20 anos 6,7,8,9,10,11; no entanto, esses simuladores de vôo VR são principalmente para treinamento de vôo e há poucos para seleção de pilotos. Ainda assim, com a redução de custos e o aprimoramento da tecnologia, os simuladores baseados em RV estão mudando e se tornando viáveis para a seleção pessoal. Alguns estudos utilizaram simuladores baseados em RV para seleção pessoal em diferentes domínios: Schijven et al.12 selecionaram estagiários cirúrgicos usando um simulador de realidade virtual. Huang et al.13 desenvolveram um instrumento de seleção de psicologia baseado na tecnologia de realidade virtual para recrutamento de pilotos da Força Aérea. Wojciechowski e Wojtowicz14 avaliaram as capacidades de um candidato como piloto de veículo aéreo não tripulado (UAV) com base na tecnologia VR. Dado que a seleção de pilotos é crítica para a indústria da aviação, é urgente desenvolver um novo simulador de voo baseado em VR com foco na seleção de pilotos, já que a seleção de pilotos em larga escala é suscetível ao custo do simulador e às demandas do sistema de simulador de portabilidade.
Os movimentos dos olhos fornecem pistas para o desempenho de um piloto. Diferentes estudos descobriram que o modo de varredura ocular distingue o desempenho entre pilotos experientes e novatos. Ao comparar o padrão de varredura entre especialistas e novatos, o comportamento eficiente e estrutural do movimento ocular dos especialistas e os métodos inadequados de varredura de iniciantes podem ser diferenciados. Vários estudos de aviação descobriram que a estratégia de varredura ocular dos pilotos está altamente relacionada ao nível de especialização 15,16,17,18,19,20,21,22,23,24. Segundo Bellenkes et al.25, a duração das fixações dos especialistas é menor e a frequência de suas fixações nos instrumentos é maior do que a dos novatos. Quase a mesma conclusão foi tirada por Kasarskis et al.26, que descobriram que os pilotos experientes têm mais fixações combinadas com durações mais curtas do que os novatos, sugeriram que os pilotos experientes têm um modo visual melhor do que os novatos. Em outro estudo, Lorenz et al.27 descobriram que os especialistas passam mais tempo olhando para fora do cockpit do que os novatos. Esses resultados têm grande valor prático na seleção de recém-chegados.
A avaliação do desempenho de voo é outro fator crítico para a seleção do piloto. No entanto, existem os seguintes problemas na avaliação do desempenho de voo do piloto: opiniões conflitantes de especialistas, mais normas de seleção e uma teoria de seleção unificada. No campo da direção, Horrey et al.28 compararam o valor absoluto da saída da faixa da linha central para diferentes condições experimentais para avaliar o desempenho de direção. De volta ao domínio da aviação, o gravador de acesso rápido de voo (QAR) registra todos os tipos de parâmetros de manipulação do piloto, parâmetros da aeronave, ambientes e informações de alerta durante o voo29. Mais especificamente, como os indicadores QAR, o ângulo de inclinação é o ângulo de rotação em torno dos eixos esquerdo e direito da aeronave30, e a linha de referência (ou a linha de referência central) está bem no meio das linhas vermelha e verde28; Esses dois parâmetros de voo são usados para avaliar o desempenho de voo de participantes com ou sem experiência no estudo atual. Esses dados QAR podem ser usados para avaliar o desempenho de voo, mas, até onde sabemos, raramente foram usados para treinamento pessoal e seleção em pesquisas científicas31,32.
As medições dos padrões de movimento dos olhos podem ser usadas para avaliar e prever o desempenho de voo e orientar o treinamento e a seleção do piloto. Gerathewohl33 afirmou que o olho é o órgão sensorial mais importante do piloto, processando 80% das informações de voo. Os pilotos devem adquirir informações visuais dos instrumentos na cabine e integrá-las em uma imagem coerente para gerenciar o voo22. Além disso, o comportamento de varredura ideal é essencial para obter um melhor desempenho de vôo15. No entanto, nenhum simulador de voo acessível atualmente integra um rastreador ocular para facilitar estudos quantitativos da relação entre os movimentos oculares e o desempenho de voo.
O estudo atual desenvolveu um novo simulador de voo VR para avaliar se os participantes com experiência de voo tiveram melhor desempenho de voo do que aqueles sem experiência de voo. O simulador de vôo VR integra rastreamento ocular e um sistema de dinâmica de vôo que permite a análise do padrão de movimento ocular e a avaliação do desempenho de vôo. Em particular, vale a pena mencionar que o simulador de vôo VR usa um rastreador ocular VR34, não um rastreador ocular semelhante a vidro ou desktop, para analisar o movimento ocular baseado na área de interesse (AOI) sem contagem de quadros demorada.
Finalmente, o presente trabalho pode levar a uma medição geral para seleção de pilotos no futuro, desde o caminho de varredura ocular até os dados objetivos de desempenho de voo. Com a ajuda do simulador de vôo virtual, o custo da seleção de vôo será significativamente reduzido e a norma dos pilotos pode ser formada com base na extensa coleta de dados. O trabalho preenche uma lacuna entre os simuladores convencionais e de mesa para as necessidades de seleção de voo.
Todos os métodos descritos aqui foram aprovados pelo Conselho de Revisão Institucional (IRB) da Universidade de Tsinghua, e o consentimento informado foi obtido de todos os participantes. Após a conclusão, todos os participantes receberam $ 12 (ou um presente de igual valor).
1. Seleção dos participantes
2. Hardware do simulador de vôo
Módulo head-mounted display (HMD) e de seguimento do olho de VR | 1. Estação base |
2. VR HMD | |
Módulo de PC Flight Simulator | 3. Simulador de vôo PC |
Módulo de controle de voo | 4. Acelerador de vôo |
5. Joystick de vôo | |
6. Pedal de vôo |
Tabela 1: Componentes dos três módulos do hardware do simulador de vôo.
Componente principal | Acessórios |
VR HMD | Cabo do fone de ouvido (conectado) |
Almofada de rosto (anexada) | |
Pano de limpeza | |
Tampa do orifício do fone de ouvido × 2 | |
Caixa de link | Adaptador de energia |
Cabo DisplayPort | |
Cabo USB 3.0 | |
Almofada de montagem | |
Controladores (2018) × 2 | Adaptadores de energia × 2 |
Cordões × 2 | |
Cabos micro-USB × 2 | |
Estação Base 2.0 × 2 | Adaptadores de energia × 2 |
Kit de montagem (2 suportes, 4 parafusos e 4 buchas de parede) |
Tabela 2: Lista de componentes do HMD VR e do módulo de rastreamento ocular.
Dispositivo | Configuração de parâmetros |
Joystick de vôo | Dezenove botões de ação |
Um chapéu de "ponto de vista" de 8 vias | |
Vários sensores magnéticos 3D | |
Um sistema de 5 molas helicoidais | |
Uma resolução de 16 bits (65536 x 65536 valores). | |
Painel de controle de vôo | Quinze botões de ação |
Uma roda TRIM | |
Cinco LEDs programáveis | |
Acelerador de vôo | Dezessete botões de ação |
Um chapéu de mouse com um botão de pressão | |
Um chapéu de "ponto de vista" de 8 vias | |
Vários sensores magnéticos 3D | |
Duas resoluções de 14 bits | |
Pedal de vôo | Tensão entre 2,5 kg e 5 kg |
Ângulo entre 35° e 75° |
Tabela 3: A configuração dos parâmetros dos dispositivos do módulo de controle de vôo.
Figura 1: O layout do hardware do simulador de vôo VR. Clique aqui para ver uma versão maior desta figura.
Figura 2: A conexão do hardware do simulador de vôo. (A) Módulo de controle de vôo. O acelerador e o painel de controle são fisicamente unidos e tratados como uma unidade. Se o termo "acelerador" for usado neste estudo, ele se refere ao acelerador e ao painel de controle. (B) Módulo de PC do simulador de vôo. Um computador que atenda aos requisitos descritos na etapa 2.2. (C) HMD e módulo de rastreamento ocular. Os kits de desenvolvimento de software (SDKs) para rastreamento ocular e o mecanismo 3D são mantidos em sincronia quando instalados no mesmo computador. Portanto, as funções de rastreamento ocular e o sistema operacional interagem e trabalham juntos. Clique aqui para ver uma versão maior desta figura.
3. Software de simulador de vôo
Nome | Descrição | |||
Software de RV | Uma ferramenta amplamente utilizada para experimentar conteúdo de RV no hardware. | |||
Loja de aplicativos VR | A loja de aplicativos para realidade virtual onde os clientes podem explorar, criar, conectar e experimentar o conteúdo que amam e precisam. | |||
Software de rastreamento ocular | Software de rastreamento ocular desenvolvido pela equipe de pesquisa por meio de SDKs de rastreamento ocular e mecanismo 3D. | |||
Simulador de mosca | O programa principal do software simulador de vôo, desenvolvido pela equipe de pesquisa. | |||
Software de gravação de tela | Um software gratuito e de código aberto para gravação de vídeo e transmissão ao vivo. |
Tabela 4: Informações sobre todos os softwares utilizados no experimento.
4. Preparação antes de iniciar o simulador de voo
NOTA: Se esta for a primeira vez que se executa o programa de acompanhamento ocular, execute as etapas adicionais de acordo com a Figura 3. O programa de rastreamento ocular será ativado automaticamente após a execução inicial.
Figura 3: As etapas adicionais ao executar o programa de rastreamento ocular pela primeira vez. Clique aqui para ver uma versão maior desta figura.
5. Procedimento experimental
NOTA: O experimento é dividido em quatro etapas: "coletar informações", "apresentar a tarefa e a operação", "praticar antes do experimento" e "conduzir um experimento formal". O processo experimental está resumido na Figura 4.
Figura 4: O fluxograma do experimento. Clique aqui para ver uma versão maior desta figura.
Figura 5: O padrão de tráfego para o simulador de vôo VR. O ângulo de inclinação é o ângulo de rotação em torno dos eixos esquerdo e direito da aeronave, e a linha de referência (ou a linha de referência central) está bem no meio das linhas vermelha e verde. Clique aqui para ver uma versão maior desta figura.
6. Análise dos dados
Figura 6: Pré-processamento AOI e processo de cálculo de fluxo. As seções 1 a 4 descrevem como o presente estudo processou os dados de movimento ocular dos pilotos até o teste t de amostra independente. Clique aqui para ver uma versão maior desta figura.
Figura 7: Diagrama esquemático da divisão AOI do instrumento de voo. A função dos instrumentos: (A) O indicador de velocidade no ar indica a velocidade da aeronave em relação ao ar. (B) O indicador de altitude mostra a altitude de inclinação e rotação da aeronave. (C) O indicador de velocidade vertical indica a velocidade de subida ou descida da aeronave. (D) O indicador de altitude indica a altitude barométrica da aeronave. (E) O indicador de velocidade do motor indica a velocidade do motor da aeronave. Clique aqui para ver uma versão maior desta figura.
Para o experimento atual, foram escolhidos 23 especialistas com experiência de voo e 23 novatos sem experiência de voo. Os participantes tinham entre 25 e 58 anos de idade (especialistas: M = 32,52 anos, DP = 7,28 anos; novatos: M = 29,57 anos, DP = 5,74 anos). O sexo de todos os participantes era masculino. Todos os novatos foram recrutados da Universidade de Tsinghua (alunos ou professores) e todos os especialistas eram da China Eastern Airlines.
O estudo atual avaliou se os participantes com experiência de voo tiveram melhor desempenho de voo do que aqueles sem experiência de voo em um simulador de voo baseado em VR. Mais importante, avaliou se um padrão de movimento ocular mais otimizado poderia ser encontrado nesses participantes com melhor desempenho de voo. Os resultados têm diferenças significativas entre os participantes com e sem experiência de voo em três indicadores-chave de QAR de voo: ângulo de inclinação 1 s antes do pouso, a distância mé...
Os autores declararam não haver divulgação financeira ou conflitos de interesse.
Os autores são incrivelmente gratos ao Sr. Li Yan por sua ajuda no recrutamento de participantes do piloto e reconhecem a Sra. Bu Lingyun por seu trabalho em desenhar imagens. A pesquisa foi apoiada pela Fundação Nacional de Ciências Naturais da China (número de concessão T2192931, 72071185), pelo Projeto Nacional do Cérebro (número de concessão STI2030-Projetos Principais 2022ZD0208500), pelo Projeto de Laboratório Nacional de Engenharia de Fatores Humanos (número de concessão SYFD062003), pelo Projeto de Laboratório Nacional de Engenharia de Fatores Humanos (número de concessão 6142222210201) e pelo ano de 2022 Principais Projetos de Bolsa de Pesquisa Logística Militar e Projeto-Chave de Equipamento da Força Aérea Abrangente Pesquisa (processo número KJ2022A000415).
Name | Company | Catalog Number | Comments |
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK | This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type | One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |
Solicitar permissão para reutilizar o texto ou figuras deste artigo JoVE
Solicitar PermissãoThis article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. Todos os direitos reservados